Сбер вакансии Backend
Сбер вакансии Backend
Сбер вакансии Backend
Написать пост

Нейросеть PixelPlayer научилась сама выделять отдельные инструменты композиции

Новости

Создатели PixelPlayer научили её распознавать музыкальные инструменты по видеозаписям. Ключевая особенность — в использовании метода спонтанного обучения.

1К открытий1К показов

Учёным из MIT удалось создать нейросеть PixelPlayer, способный выделить звучание отдельных музыкальных инструментов. Ключевая особенность разработки заключается в использовании метода спонтанного обучения.

В аналогичных разработках ранее использовался метод контролируемого обучения. В качестве вводных данных ИИ получал маркированные аудиофайлы, ручная разметка которых требовала много времени. PixelPlayer обрабатывает видео — это позволяет отказаться от предварительной подготовки информации. Спонтанное обучение устранило человеческий фактор и ускорило процесс.

Три нейросети PixelPlayer

Разработка задействует не один, а сразу три алгоритма. Первый обрабатывает видеоряд, второй — аудиодорожку, а третий синхронизирует данные. PixelPlayer определяет звук, относящийся к каждому пикселю изображения. Таким образом нейросеть обнаруживает отдельные инструменты и определяет издаваемую мелодию.

Превью видео 2eVDLEQlKD0

После 60 часов обучения ИИ с высокой точностью смог распознать отдельные мелодии на новых видеозаписях, которые ему раньше не демонстрировались. По заявлению разработчиков, PixelPlayer способен идентифицировать до 20 различных инструментов. Это число можно увеличить, предоставив для обработки дополнительные данные. Ошибки происходят про попытке разделить близкие по классу инструменты, например, саксофон-альт и тенор.

У PixеlPlayer уже есть значительный потенциал для практического применения. С помощью этого инструмента можно повысить качество старых концертных записей. Музыканты-любители зачастую пытаются «снять» определённую партию на слух, и разработка учёных MIT способна упростить эту задачу. Кроме того, можно послушать, как будет звучать композиция, если заменить один инструмент на другой, — подобный инструмент в мае 2018 года продемонстрировала Facebook.

Следите за новыми постами
Следите за новыми постами по любимым темам
1К открытий1К показов