«Сбербанк» разработал ИИ, который поможет сохранить исчезающие языки

«Сбербанк» и агентство Good Moscow совместно запустили проект «Бессмертные», основой которого стал искусственный интеллект. Проект нацелен на спасение исчезающих языков. Так как дети малых народов в основном говорят на русском языке, то они могут спросить ИИ, как переводится интересующее слово на язык их народа.

IMMORTALS on Vimeo

vimeo.com

Создание и принцип действия нейросети

Нейронная сеть обучалась на алгоритмах, описывающих основные закономерности конструкции языка. В определении главных принципов построения и дальнейшей отладке ИИ напрямую участвовали носители языка и лингвисты. Сейчас система способна к обучению на целевых языках, к примеру, на нганасанском.

Появление идеи проекта

В рамках проекта «Это всё Россия» пользователи могли перевести фразу «С днём России» на 30 национальных языков страны и кого-либо ей поздравить. Уже в процессе подготовки проекта исследователи столкнулись с тем, что в России существуют языки, у которых осталось не более 100 носителей. Так родилась идея обучить ИИ языку для того, чтобы он передавал его следующим поколениям.

Чтобы ИИ мог корректно понимать естественные языки, ему необходимо определить контекст. Для этого Google AI разработала BERT — метод предварительного обучения моделей обработки естественного языка, который опирается на массив простого неразмеченного текста, например из «Википедии».