VK запустила дипфейки. Егор Крид ушёл из рэпа и решил войти в IT

Технологию по созданию дипфейков уже можно попробовать в специальном мини-приложении.

Как это работает

Можно выбрать готовое видео или снять собственное, после чего нейросеть проанализирует запись и заменит лицо героя на лицо знаменитости. Выгрузить видео на смартфон нельзя, только добавить его в VK Видео или Клипы. В будущем дипфейки можно будет использовать во Звонках.

На момент публикации в приложении доступны лица Niletto, Егора Крида, Сергея Жукова, Ольги Бузовой, Клавы Коки, Дани Милохина и Кати Адушкиной.

Генерируем дипфейк с лицом Егора Крида

Большинство дипфейк-решений работают по принципу независимой обработки каждого кадра, поэтому даже минимальные изменения в положении и освещении лица на видео часто приводят к дрожанию и бликам. Мы же <…> решили обрабатывать видео как последовательность кадров с помощью рекуррентной нейронной сети — это позволило <…> использовать возможности нейронной сети более оптимальным образом, кратно ускорив генерацию дипфейков.

Я с нетерпением жду, когда в VK появятся Never Gonna Give You Up в исполнении Сергея Жукова или, к примеру, случай в казино и негодяем-крупье с участием Дани Милохина.

Тест приложения: мой дипфейк

Ещё вы можете посмотреть мой дипфейк: я заставил Егора Крида покинуть рэп-игру и заняться разработкой на Python. Приложение пока что работает нестабильно, и видео приходилось перезаписывать, а сам VK — перезапускать.

Ещё приложение сжимает запись, если записывать его инструментами VK. Видео становится мутным, а звук — шумным, хотя в оригинальной записи таких проблем нет.

Чтобы повысить качество дипфейка, пришлось сперва записать его на встроенную камеру, а уже потом — загружать в приложение.