Яндекс создал свой аналог языковой модели GPT-3 от OpenAI
Можно выбрать разные стили создаваемого нейросетью текста. Есть даже такие варианты как «Пацанский цитатник» и «Подписи в Instagram».
Компания Яндекс представила новый сервис — Зелибоба. Опробовать его может любой желающий, а главной его задачей является демонстрация возможностей языковой модели на основе Transformer, разработанной внутри компании.
На странице проекта говорится, что главной задачей модели является генерирование «каждого последующего слова в предложении».
Для того, чтобы получившийся текст не представлял из себя набор несвязанных слов, она самостоятельно, в процессе обучения, оценивает возможность использования тех или иных конструкций.
Представители Яндекса заявили, что запоминать правила языка, а затем подбирать подходящие слова Зелибобе помогают параметры, заложенные внутри языковой модели YaLM. Они по своей сути похожи на рычажки, которые помогают правильно составляют итоговый текст.
Сообщается, что в самой YaLM таких «рычажков» от 1 до 13 млрд. В Зелибобе используется вариант с 3 млрд.
Для обучения языковой модели российской IT-корпорации использовались терабайты различных данных: от страниц на Википеди и новостных статей до открытых записей пользователей социальных сетей и форумов.
UPD: Спустя около часа после выхода материала, Зелибоба перестал быть доступен. Возможно, Яндекс допустил преждевременный анонс своего сервиса.