ИИ научился восстанавливать музыку в беззвучном видео игры на пианино
Причём приложения распознавания музыки угадывают получившийся итог с точностью 86%. Это всего лишь на 7% меньше, чем у ролика-оригинала.
Группа исследователей из Вашингтонского университета создала технологию, восстанавливающую звуки пианино при игре на инструменте в беззвучном видеоролике. Для работы искусственного интеллекта, получившего название Audeo, необходимо лишь наличие видеозаписи играющих на инструменте рук.
Публикация о свежем проекте учёных появилась на официальном сайте университета. Судя по ней, исследователи не использовали наработки прочих команд и создавали модель, которая легла в основу Audeo, с нуля.
Во время тренировки ИИ, систему научили обращать внимание не только на расположение пальцев и их перемещение по клавишам, но также и на силу нажатия с длительностью удержания. Всё это позволило специалистам добиться 86% точности при распознавании через приложение SoundHound. Для сравнения, оригинальное видео со звуком добилось точности в 93% в том же приложении.
Алгоритму необходимо определять «особенности» в кадрах видео, которые связаны с генерацией музыки. И алгоритму необходимо «воображать» звук, который звучит между кадрами. Для этого нужна система, которая совмещает себе и предсказание, и «воображение». Факт того, что мы смогли достичь музыки, которая звучит очень хорошо, был сюрпризом.
Источник: Вашингтонский университет
262 открытий266 показов
Рассказали об инструменте для генерации дипфейков Roop, который позволяет заменить лицо на видео без предварительного обучения модели.
Рост посещаемости ChatGPT стала замедляться. С момента запуска количество пользователей постоянно росло, но теперь их становится меньше.
Составили подборку новостей из мира IT. JetBrains и Binance ушли из России, выпущены новая Raspberry Pi и открытая языковая модель Mistral AI.
Пока весь мир удивлялся технологичности ИИ-магазинов Amazon, на самом деле все работало на обыкновенном ручном труде жителей Индии