Сотрудники университетов Иллинойса, Вашингтона и института искусственного интеллекта Пола Аллена представили нейросеть CRAFT для создания мультфильмов по текстовому описанию. Текущая версия алгоритма допускает ошибки, но, по мнению экспертов, в будущем технология сможет облегчить работу мультипликаторов.
Нейросеть как будущее мультипликации
Для обучения ИИ авторы использовали 25 184 фрагментов из мультфильма «Флинстоуны». Эти материалы оказались наиболее простыми для освоения компьютером — в кадрах двигаются только персонажи, а фон остается статичным. Авторы вручную дали названия всем подвижным объектам и написали, какие действия они выполняют.
Изучив текстовое описание ожидаемого результата, CRAFT отбирает из обучающей базы подходящий фон, персонажей и действия. Из элементов собирается новая сцена, однако в текущей версии часто возникают ошибки: объектам присваиваются неверные анимации, а при наложении возникают артефакты. Подробности о работе нейросети изложены в техническом документе (PDF).
Это не первая технология в своем роде. В феврале 2018 года американские ученые создали похожий алгоритм, но, в отличие от CRAFT, он работает с обычными видео, а не мультфильмами.
Источник: Engadget
