Яндекс.Переводчик начал использовать нейронные сети

Статистический перевод используется с самого начала работы сервиса. Сейчас же перевод выполняется двумя моделями одновременно, после чего алгоритм машинного обучения CatBoost сравнивает результаты и предлагает лучший.

Нейронная сеть не разбивает входящие предложения на отдельные слова, как это делает статистический перевод, а обрабатывает их целиком. Именно поэтому перевод получается более гладким, с согласованием окончаний и с сохранением контекста и приближается по точности к литературному. Однако, встретив непонятное слово, сеть начнёт «придумывать» его перевод, чего лишён статистический перевод.

Он запоминает редкие слова и переводит их правильно. Именно поэтому компанией принято решение использовать гибридную модель перевода для компенсации минусов обоих подходов.

В веб-версии Яндекс.Переводчика появился переключатель, с помощью которого можно сравнить гибридный и статистический переводы. Иногда версии переводов могут не отличаться. Это в свою очередь означает, что CatBoost решил выбрать статистическую версию как лучшую из двух предложенных.

Оригинал: Domestic accidents are very common but this one is unusual to say the least. Two British flatmates set their building on fire when they tried to heat a tin of spaghetti on top of their toaster.Статистический: Бытовые несчастные случаи очень распространены, но это необычно, мягко говоря. Два британских соседей по квартире, установить их дом в огне, когда они пытались нагреть олово спагетти на вершине своих тостер.Гибридный: Внутренние несчастные случаи очень распространены, но это, по меньшей мере, необычно. Двое британских товарищей по квартире подожгли свое здание, когда они попытались нагреть банку спагетти поверх своего тостера.

Как отметили в компании, сейчас гибридный подход используется только для перевода с английского на русский, так как это самое популярное направление переводов и 80% запросов к сервису приходятся именно на этот вид. Однако, в ближайшие месяцы система станет доступной и для других языков.

Напомним, что Google уже использует подобную систему с 2016 года, а весной 2017 нейросетевой перевод стал доступен и для русского языка.