Нейросеть научилась создавать мультфильмы по текстовому описанию
Американские исследователи представили нейросеть CRAFT для создания мультфильмов на основе текстового описания. Для обучения ИИ разработчики использовали фрагменты из «Флинстоунов».
Сотрудники университетов Иллинойса, Вашингтона и института искусственного интеллекта Пола Аллена представили нейросеть CRAFT для создания мультфильмов по текстовому описанию. Текущая версия алгоритма допускает ошибки, но, по мнению экспертов, в будущем технология сможет облегчить работу мультипликаторов.
Нейросеть как будущее мультипликации
Для обучения ИИ авторы использовали 25 184 фрагментов из мультфильма «Флинстоуны». Эти материалы оказались наиболее простыми для освоения компьютером — в кадрах двигаются только персонажи, а фон остается статичным. Авторы вручную дали названия всем подвижным объектам и написали, какие действия они выполняют.
Изучив текстовое описание ожидаемого результата, CRAFT отбирает из обучающей базы подходящий фон, персонажей и действия. Из элементов собирается новая сцена, однако в текущей версии часто возникают ошибки: объектам присваиваются неверные анимации, а при наложении возникают артефакты. Подробности о работе нейросети изложены в техническом документе (PDF).
Это не первая технология в своем роде. В феврале 2018 года американские ученые создали похожий алгоритм, но, в отличие от CRAFT, он работает с обычными видео, а не мультфильмами.
