Нейросеть научилась предсказывать движения рук музыканта

Разработчики из Facebook представили алгоритм на нейросетях, который при прослушивании скрипичных и клавишных композиций имитирует движения рук музыканта в дополненной реальности.

Обучение

Для создания алгоритма ученые использовали рекуррентную нейронную сеть LSTM. Исследователи собрали 3,6 часа записей профессиональной игры на пианино и 4,4 часа — на скрипке. На каждом кадре нейросеть определяла, где находятся руки и пальцы исполнителя, и строила скелетную модель. Во время тренировок не использовали файлы формата MIDI для обмена данными между электронными музыкальными инструментами, поэтому нейросеть не училась искать зависимости между нотами или конкретными клавишами.

В итоге система обучилась находить взаимосвязь между характеристиками звука и движениями рук музыканта, строить предсказания и воссоздавать движения в дополненной реальности.

Использование

По мнению создателей технологии, в будущем она облегчит обучение игре на музыкальных инструментах. Например, имитация в VR поможет ученику рассмотреть движения профессионала с разных ракурсов.

Нейросети все чаще используются не только в IT-сфере, но и в бытовых ситуациях. В июне 2018 года Google представила алгоритм на нейронных сетях Medical Brain, который по состоянию пациента предсказывает срок его пребывания в больнице, а также вероятность повторной госпитализации и смерти.