Нейросеть PixelPlayer научилась сама выделять отдельные инструменты композиции

Учёным из MIT удалось создать нейросеть PixelPlayer, способный выделить звучание отдельных музыкальных инструментов. Ключевая особенность разработки заключается в использовании метода спонтанного обучения.

В аналогичных разработках ранее использовался метод контролируемого обучения. В качестве вводных данных ИИ получал маркированные аудиофайлы, ручная разметка которых требовала много времени. PixelPlayer обрабатывает видео — это позволяет отказаться от предварительной подготовки информации. Спонтанное обучение устранило человеческий фактор и ускорило процесс.

Три нейросети PixelPlayer

Разработка задействует не один, а сразу три алгоритма. Первый обрабатывает видеоряд, второй — аудиодорожку, а третий синхронизирует данные. PixelPlayer определяет звук, относящийся к каждому пикселю изображения. Таким образом нейросеть обнаруживает отдельные инструменты и определяет издаваемую мелодию.

После 60 часов обучения ИИ с высокой точностью смог распознать отдельные мелодии на новых видеозаписях, которые ему раньше не демонстрировались. По заявлению разработчиков, PixelPlayer способен идентифицировать до 20 различных инструментов. Это число можно увеличить, предоставив для обработки дополнительные данные. Ошибки происходят про попытке разделить близкие по классу инструменты, например, саксофон-альт и тенор.

У PixеlPlayer уже есть значительный потенциал для практического применения. С помощью этого инструмента можно повысить качество старых концертных записей. Музыканты-любители зачастую пытаются «снять» определённую партию на слух, и разработка учёных MIT способна упростить эту задачу. Кроме того, можно послушать, как будет звучать композиция, если заменить один инструмент на другой, — подобный инструмент в мае 2018 года продемонстрировала Facebook.