Написать пост

Нейросети NVIDIA научились создавать замедленные видео

Аватар Рамис Ганиев

В качестве графических ускорителей система использует NVIDIA Tesla V100. Для увеличения плавности нейросети создают промежуточные кадры.

Исследователи из NVIDIA совместно с учеными из Калифорнийского и Массачусетского университетов представили искусственный интеллект для замедления видео. По словам разработчиков, нейросети способны увеличить количество кадров в 15 и более раз. В итоге из обычного видео со смартфона получается плавный slow-motion ролик.

Нейросети и видео

Плавность достигается за счет создания промежуточных кадров. Для этого используется сверточная нейронная сеть, отслеживающая перемещение пикселей. Вторая нейросеть находит промежуточные значения и удаляет артефакты вокруг движущихся объектов. Новые кадры создаются на основе полученных данных.

Превью видео MjViy6kyiqs

Для обучения использовались видеоролики от авторов YouTube-канала The Slow Mo Guys и библиотека PyTorch. Для обработки данных потребовались графические ускорители NVIDIA Tesla V100.

Важной особенностью искусственного интеллекта является возможность параллельного создания промежуточных кадров в нужном количестве. Есть и слабая сторона — быстро движущиеся объекты имеют зубчатые края.

Руководитель проекта Ян Каутц (Jan Kautz) сомневается в скором коммерческом релизе технологии. Если она и будет запущена, то вычисления будут проводиться в облаке.

NVIDIA постоянно экспериментирует с нейронными сетями. В апреле 2018 года она научила их превращать котов в собак и наоборот.

Нейронные сети
Искусственный интеллект
1922