Нейросеть научилась создавать видео из размытых фотографий

Ученые из Технологического института индийского города Ченнаи научили нейросеть создавать короткие видеоролики из размытых изображений. При виде объекта с размытыми очертаниями человек может представить его движения: например, на фото птицы с размытыми крыльями он понимает, что она машет ими. Созданный алгоритм умеет то же самое.

Нейросеть против артефактов

Сверточная архитектура, на которой основывается проект, активно используется для распознавания объектов. Модель была обучена на разбитых на кадры видеозаписях: они составляют базу, в которой нейросеть ищет артефакты схожие с искажениями размытой фотографии. Найдя совпадения, алгоритм восстанавливает движения объекта по примеру видео из обучающей выборки. В результате получается анимация из десяти кадров:

По мнению исследователей, в будущем алгоритм поможет в улучшении качества размытых фото и видео. Более подробно ознакомиться с работой нейронной сети можно в научной статье авторов.

Нейросети часто используют в работе с изображениями. В декабре 2017 года Google рассказала об алгоритме, оценивающем фотографии природы по эстетической значимости для человека. В феврале 2018 года американские исследователи представили метод создания видео из текстового описания.