ИИ научился восстанавливать музыку в беззвучном видео игры на пианино

Группа исследователей из Вашингтонского университета создала технологию, восстанавливающую звуки пианино при игре на инструменте в беззвучном видеоролике. Для работы искусственного интеллекта, получившего название Audeo, необходимо лишь наличие видеозаписи играющих на инструменте рук.

Публикация о свежем проекте учёных появилась на официальном сайте университета. Судя по ней, исследователи не использовали наработки прочих команд и создавали модель, которая легла в основу Audeo, с нуля.

Во время тренировки ИИ, систему научили обращать внимание не только на расположение пальцев и их перемещение по клавишам, но также и на силу нажатия с длительностью удержания. Всё это позволило специалистам добиться 86% точности при распознавании через приложение SoundHound. Для сравнения, оригинальное видео со звуком добилось точности в 93% в том же приложении.

Алгоритму необходимо определять «особенности» в кадрах видео, которые связаны с генерацией музыки. И алгоритму необходимо «воображать» звук, который звучит между кадрами. Для этого нужна система, которая совмещает себе и предсказание, и «воображение». Факт того, что мы смогли достичь музыки, которая звучит очень хорошо, был сюрпризом.

Источник: Вашингтонский университет