В NVIDIA создали нейросеть, реалистично подделывающую видео
Исследователи NVIDIA создали нейросеть, способную изменить погоду и время года на видео, при этом уменьшив время, необходимое ИИ для обучения.
Раньше большая часть проектов по глубинному обучению использовала обучение c учителем. Это давало машинам возможность распознавать объекты почти так же хорошо, как человек. Например, контролируемое обучение хорошо работает, когда перед сетью стоит задача увидеть разницу между корги и немецкой овчаркой. В этом случае маркированные изображения обеих пород легко доступны для обучения.
У ИИ появилось воображение
Команда NVIDIA пошла дальше и дала машинам задачу на воображение — показать, как заснеженный дорожный пейзаж будет выглядеть летом. Для этого исследователи использовали обучение без учителя и генеративное моделирование.
Верхние два изображения демонстрируют, что первая сеть обучается на зимней сцене — пасмурное небо, голые деревья, практически все покрыто снегом, кроме автомобилей, едущих по замерзшей дороге. Вторая сеть обучена понимать, как обычно выглядит лето, но она обучалась на другом пейзаже.
Для моделирования идентичной ситуации, но в летнее время, потребовались бы те же кадры, записанные с того же ракурса, с той же перспективой, со встречным движением и другими деталями, но снятые отдельно в летнее и зимнее время. Но при обучении без учителя в этом нет необходимости.
Новые возможности
Трансляция изображения стала возможной благодаря использованию сетями совместного скрытого пространства. Таким образом, две генеративные сети были проассоциированы друг с другом через связь своих параметров. Летний вариант зимней картинки был создан путем передачи представления от одной сети другой.
В сообщении компании говорится: