Нейросеть научилась создавать мультфильмы по текстовому описанию

Сотрудники университетов Иллинойса, Вашингтона и института искусственного интеллекта Пола Аллена представили нейросеть CRAFT для создания мультфильмов по текстовому описанию. Текущая версия алгоритма допускает ошибки, но, по мнению экспертов, в будущем технология сможет облегчить работу мультипликаторов.

Нейросеть как будущее мультипликации

Для обучения ИИ авторы использовали 25 184 фрагментов из мультфильма «Флинстоуны». Эти материалы оказались наиболее простыми для освоения компьютером — в кадрах двигаются только персонажи, а фон остается статичным. Авторы вручную дали названия всем подвижным объектам и написали, какие действия они выполняют.

Изучив текстовое описание ожидаемого результата, CRAFT отбирает из обучающей базы подходящий фон, персонажей и действия. Из элементов собирается новая сцена, однако в текущей версии часто возникают ошибки: объектам присваиваются неверные анимации, а при наложении возникают артефакты. Подробности о работе нейросети изложены в техническом документе (PDF).

Это не первая технология в своем роде. В феврале 2018 года американские ученые создали похожий алгоритм, но, в отличие от CRAFT, он работает с обычными видео, а не мультфильмами.