Яндекс.Переводчик начал использовать нейронные сети

Статистический перевод используется с самого начала работы сервиса. Сейчас же перевод выполняется двумя моделями одновременно, после чего алгоритм машинного обучения CatBoost сравнивает результаты и предлагает лучший.

Нейронная сеть не разбивает входящие предложения на отдельные слова, как это делает статистический перевод, а обрабатывает их целиком. Именно поэтому перевод получается более гладким, с согласованием окончаний и с сохранением контекста и приближается по точности к литературному. Однако, встретив непонятное слово, сеть начнёт «придумывать» его перевод, чего лишён статистический перевод.

Он запоминает редкие слова и переводит их правильно. Именно поэтому компанией принято решение использовать гибридную модель перевода для компенсации минусов обоих подходов.

В веб-версии Яндекс.Переводчика появился переключатель, с помощью которого можно сравнить гибридный и статистический переводы. Иногда версии переводов могут не отличаться. Это в свою очередь означает, что CatBoost решил выбрать статистическую версию как лучшую из двух предложенных.

Как отметили в компании, сейчас гибридный подход используется только для перевода с английского на русский, так как это самое популярное направление переводов и 80% запросов к сервису приходятся именно на этот вид. Однако, в ближайшие месяцы система станет доступной и для других языков.

Напомним, что Google уже использует подобную систему с 2016 года, а весной 2017 нейросетевой перевод стал доступен и для русского языка.