Яндекс создал свой аналог языковой модели GPT-3 от OpenAI

Компания Яндекс представила новый сервис — Зелибоба. Опробовать его может любой желающий, а главной его задачей является демонстрация возможностей языковой модели на основе Transformer, разработанной внутри компании.

На странице проекта говорится, что главной задачей модели является генерирование «каждого последующего слова в предложении».

Для того, чтобы получившийся текст не представлял из себя набор несвязанных слов, она самостоятельно, в процессе обучения, оценивает возможность использования тех или иных конструкций.

Представители Яндекса заявили, что запоминать правила языка, а затем подбирать подходящие слова Зелибобе помогают параметры, заложенные внутри языковой модели YaLM. Они по своей сути похожи на рычажки, которые помогают правильно составляют итоговый текст.

Сообщается, что в самой YaLM таких «рычажков» от 1 до 13 млрд. В Зелибобе используется вариант с 3 млрд.

Для обучения языковой модели российской IT-корпорации использовались терабайты различных данных: от страниц на Википеди и новостных статей до открытых записей пользователей социальных сетей и форумов.

UPD: Спустя около часа после выхода материала, Зелибоба перестал быть доступен. Возможно, Яндекс допустил преждевременный анонс своего сервиса.