Рамис Ганиев

Нейросеть научилась создавать мультфильмы по текстовому описанию

Американские исследователи представили нейросеть CRAFT для создания мультфильмов на основе текстового описания. Для обучения ИИ разработчики использовали фрагменты из «Флинстоунов».

12077

Сотрудники университетов Иллинойса, Вашингтона и института искусственного интеллекта Пола Аллена представили нейросеть CRAFT для создания мультфильмов по текстовому описанию. Текущая версия алгоритма допускает ошибки, но, по мнению экспертов, в будущем технология сможет облегчить работу мультипликаторов.

Нейросеть как будущее мультипликации

Для обучения ИИ авторы использовали 25 184 фрагментов из мультфильма «Флинстоуны». Эти материалы оказались наиболее простыми для освоения компьютером — в кадрах двигаются только персонажи, а фон остается статичным. Авторы вручную дали названия всем подвижным объектам и написали, какие действия они выполняют.

Изучив текстовое описание ожидаемого результата, CRAFT отбирает из обучающей базы подходящий фон, персонажей и действия. Из элементов собирается новая сцена, однако в текущей версии часто возникают ошибки: объектам присваиваются неверные анимации, а при наложении возникают артефакты. Подробности о работе нейросети изложены в техническом документе (PDF).

Это не первая технология в своем роде. В феврале 2018 года американские ученые создали похожий алгоритм, но, в отличие от CRAFT, он работает с обычными видео, а не мультфильмами.

Следите за новыми постами по любимым темам

Подпишитесь на интересующие вас теги, чтобы следить за новыми постами и быть в курсе событий.

Нейронные сети
Искусственный интеллект
12077
Что думаете?
8 комментариев
Сначала интересные
Аватар пользователя Наталья
Где нейросеть...б..
Аватар пользователя Фëдор
Однажды грустным днём, голубь по имени Карл пошëл в забегаловку "максти" Всë было хорошо до того момента когда он зашëл в забегаловку.... Вдруг на него напросился хлеб с красными глазами, 
Он бежал как мог но его поймал этот злой хлеб с глазами.... 

Аватар пользователя Andrey_Dowell Radmir
Мультфильм где губка боб танцует
Показать все комментарии