Написать пост

Google AI разработала интеллектуальный контроллер Piano Genie для импровизации на фортепиано

Аватар Никита Нельсон

Любой сможет поимпровизировать на фортепиано, используя всего 8 клавиш контроллера. Веб-демо версия Piano Genie уже доступна для всех желающих.

Обложка поста Google AI разработала интеллектуальный контроллер Piano Genie для импровизации на фортепиано

Piano Genie — нейронная сеть, позволяющая поимпровизировать на фортепиано, используя всего 8 кнопок. Её разработала команда Magenta из Google AI, интерактивная веб-демо доступна для всех желающих.

Превью видео 18cST_ZAOx4

Как работает Piano Genie?

Двунаправленный кодировщик LSTM сопоставляет последовательность фортепианных нот с последовательностью кнопок контроллера. Затем однонаправленный декодер LSTM декодирует последовательность кнопок обратно в музыку. По завершении обучения сети роль кодировщика занимает исполнитель, который сам задаёт последовательности клавиш на контроллере, а декодер связывает задаваемые комбинации с уже знакомыми. При этом на нажатие одной кнопки контроллера Piano Genie приходится проигрывание только одной ноты.

Google AI разработала интеллектуальный контроллер Piano Genie для импровизации на фортепиано 1

Нейросеть обучалась на 1400 вариантах виртуозных выступлений, взятых с международного конкурса. Примечательно, что схема движения мелодии в точности имитирует последовательность кнопок контроллера. Поведение кодера не поощряется в том случае, если мелодия, например, движется вверх при нисходящем движении кнопок.

Это далеко не первая связь искусственного интеллекта и музыки. В августе 2018 года исследователи из Университета Йёнчёпинга в Швеции и Маастрихтского университета в Нидерландах научили нейронную сеть анализировать музыкальные предпочтения человека на основе его психологической модели.

Следите за новыми постами
Следите за новыми постами по любимым темам
1К открытий1К показов