Google разработала новый алгоритм диаризации

Google опубликовала данные о создании инновационного алгоритма диаризации — разделения входящего аудиопотока на однородные сегменты в соответствии с принадлежностью слов тому или иному человеку. Компания утверждает, что созданная технология более эффективна, чем известные ранее.

Использование контролируемой RNN

Разработка базируется на рекуррентной нейронной сети (RNN). Такая архитектура позволяет использовать внутреннюю память для обработки последовательностей произвольной длины и хорошо подходит для работы с разбитым на сегменты аудиопотоком. В разработке Google для каждого говорящего выделяется отдельный экземпляр RNN, вычленяющий высказывания.

Специалисты Google обращают внимание, что их алгоритм является полностью прозрачным и контролируемым, что позволяет корректировать процесс обработки аудиопотока.

Разработчики проверили эффективность нового алгоритма диаризации с помощью теста NIST SRE 2000 CALLHOME. Погрешность определения составила 7,6 %. Использовавшиеся ранее методы кластеризации и выделения с помощью нейронной сети показывали погрешность 8,8 % и 9,9 % соответственно. Помимо меньшего количества ошибок алгоритм обладает производительностью, достаточной для обработки потока в реальном времени.

Применение диаризации

Определение принадлежности реплик — важный компонент системы распознавания речи. Корректная диаризация позволяет лучше приспособиться к особенностям произношения и акценту и качественно разделить высказывания разных людей. Технология найдёт применение, в частности, в создании субтитров к видеозаписям. Правильно распознанную речь легче перевести на другие языки, что, например, будет полезно для онлайновых обучающих курсов. А возможность обрабатывать звук в реальном времени позволит делать это даже в прямом эфире.

Для вовлечения в процесс совершенствования алгоритма диаризации как можно большего количества специалистов Google выпустила продукт под открытой лицензией и разместила его в репозитории GitHub.

Google активно развивает технологии распознавания речи и привлекает к этому процессу сторонних разработчиков. В апреле 2017 года компания открыла доступ к Cloud Speech API — технологии распознавания речи, лежащей в основе Google Ассистента.