Нейросети NVIDIA научились создавать замедленные видео

Нейросети NVIDIA

Исследователи из NVIDIA совместно с учеными из Калифорнийского и Массачусетского университетов представили искусственный интеллект для замедления видео. По словам разработчиков, нейросети способны увеличить количество кадров в 15 и более раз. В итоге из обычного видео со смартфона получается плавный slow-motion ролик.

Нейросети и видео

Плавность достигается за счет создания промежуточных кадров. Для этого используется сверточная нейронная сеть, отслеживающая перемещение пикселей. Вторая нейросеть находит промежуточные значения и удаляет артефакты вокруг движущихся объектов. Новые кадры создаются на основе полученных данных.

Для обучения использовались видеоролики от авторов YouTube-канала The Slow Mo Guys и библиотека PyTorch. Для обработки данных потребовались графические ускорители NVIDIA Tesla V100.

Важной особенностью искусственного интеллекта является возможность параллельного создания промежуточных кадров в нужном количестве. Есть и слабая сторона — быстро движущиеся объекты имеют зубчатые края.

Руководитель проекта Ян Каутц (Jan Kautz) сомневается в скором коммерческом релизе технологии. Если она и будет запущена, то вычисления будут проводиться в облаке.

NVIDIA постоянно экспериментирует с нейронными сетями. В апреле 2018 года она научила их превращать котов в собак и наоборот.

Источник: VentureBeat

Ещё интересное для вас:
— Тест «Насколько хорошо вы разбираетесь в C#?»
— Блиц-тест «Настоящий ли ты фронтендер?»
— Меньше готовить, больше кодить: обзор питания с доставкой на дом.