Яндекс создал свой аналог языковой модели GPT-3 от OpenAI

Его работу можно протестировать в онлайн-сервисе Зелибоба.

Компания Яндекс представила новый сервис — Зелибоба. Опробовать его может любой желающий, а главной его задачей является демонстрация возможностей языковой модели на основе Transformer, разработанной внутри компании.

Пример созданной сервисом истории

На странице проекта говорится, что главной задачей модели является генерирование «каждого последующего слова в предложении».

Для того, чтобы получившийся текст не представлял из себя набор несвязанных слов, она самостоятельно, в процессе обучения, оценивает возможность использования тех или иных конструкций.

Представители Яндекса заявили, что запоминать правила языка, а затем подбирать подходящие слова Зелибобе помогают параметры, заложенные внутри языковой модели YaLM. Они по своей сути похожи на рычажки, которые помогают правильно составляют итоговый текст.

Сообщается, что в самой YaLM таких «рычажков» от 1 до 13 млрд. В Зелибобе используется вариант с 3 млрд.

Для обучения языковой модели российской IT-корпорации использовались терабайты различных данных: от страниц на Википеди и новостных статей до открытых записей пользователей социальных сетей и форумов.

UPD: Спустя около часа после выхода материала, Зелибоба перестал быть доступен. Возможно, Яндекс допустил преждевременный анонс своего сервиса.

Хинт для программистов: если зарегистрируетесь на соревнования Huawei Cup, то бесплатно получите доступ к онлайн-школе для участников. Можно прокачаться по разным навыкам и выиграть призы в самом соревновании.

Перейти к регистрации