Google AI разработала интеллектуальный контроллер Piano Genie для импровизации на фортепиано

Piano Genie

Piano Genie — нейронная сеть, позволяющая поимпровизировать на фортепиано, используя всего 8 кнопок. Её разработала команда Magenta из Google AI, интерактивная веб-демо доступна для всех желающих.

Как работает Piano Genie?

Двунаправленный кодировщик LSTM сопоставляет последовательность фортепианных нот с последовательностью кнопок контроллера. Затем однонаправленный декодер LSTM декодирует последовательность кнопок обратно в музыку. По завершении обучения сети роль кодировщика занимает исполнитель, который сам задаёт последовательности клавиш на контроллере, а декодер связывает задаваемые комбинации с уже знакомыми. При этом на нажатие одной кнопки контроллера Piano Genie приходится проигрывание только одной ноты.

Piano Genie encoder/decoder

Нейросеть обучалась на 1400 вариантах виртуозных выступлений, взятых с международного конкурса. Примечательно, что схема движения мелодии в точности имитирует последовательность кнопок контроллера. Поведение кодера не поощряется в том случае, если мелодия, например, движется вверх при нисходящем движении кнопок.

Это далеко не первая связь искусственного интеллекта и музыки. В августе 2018 года исследователи из Университета Йёнчёпинга в Швеции и Маастрихтского университета в Нидерландах научили нейронную сеть анализировать музыкальные предпочтения человека на основе его психологической модели.

via The Verge
Source: блог Magenta

Подобрали три теста для вас:
— А здесь можно применить блокчейн?
Серверы для котиков: выберите лучшее решение для проекта и проверьте себя.
Сложный тест по C# — проверьте свои знания.

Также рекомендуем: