Яндекс выложил в открытый доступ нейросеть для генерации текстов — и ещё 5 новостей Data Science

Михаил Степнов

Руководитель центра R&D Big Data МТС

Публикуем подборку самых интересных новостей из Data Science за месяц: нейросети научили решать математические задачи и играть в Minecraft, а Яндекс выложила в Open Source свою модель генерации теста

Яндекс выложила в Open Source модель генерации теста YaLM-100B

Это крупнейшая на сегодняшний день свободно доступная генеративная модель как для русского, так и для английского языка. Ее обучение заняло больше двух месяцев на 800 видеокартах A100. Исследователи отмечают, что открытый доступ к подобным моделям позволяет сохранить высокие темпы инноваций и технологического развития.

Комментарий Михаила

Несмотря на то, что даже запуск такой модели требует наличия существенных ресурсов, это важный шаг в сторону всеобщей доступности LLM (large language models). В первую очередь это будет способствовать повышению качества сервисов, построенных вокруг таких моделей, и, скорее всего, появлению новых.

Google научил языковую модель математике

В рамках работы над Minerva исследователи из Google дообучили ряд моделей из семейства PaLM на наборе научных и математических данных. В результате получилась модель, способная решать не только простые арифметические примеры, но и более сложные задачи, поставленные на естественном языке. Minerva разбивает задачу на этапы, а затем генерирует несколько возможных решений для каждого из них. Тот, который встречается чаще остальных, используется для генерации финального решения.

Комментарий Михаила

Пусть вас не смущает, что эта штука выглядит как универсальный решебник для ЕГЭ по математике. Исследователи предлагают решение одной из самых сложных задач для подобного типа моделей, и это позволяет по-новому взглянуть на границы их применимости.

Видеоуроки для AI-геймера

Ученые из OpenAI показали нейросети 70000 часов видео по Minecraft, чтобы научить машину изготавливать алмазные инструменты. Это очередная попытка максимально «очеловечить» процесс обучения и, кажется, весьма удачная. Используя относительно небольшое количество размеченных данных, исследователи смогли адаптировать для обучения сотни видео из интернета. В результате нейросеть научилась не только ходить в виртуальном мире, но и добывать ресурсы, питаться и создавать предметы.

Комментарий Михаила

Машина теперь учится почти как мы с вами – по видео на YouTube. Да, одного ролика с лайфхаком всё ещё не достаточно, и нужно почти 8 лет контента, но, с другой стороны, компьютер может их «переварить» гораздо быстрее человека.

Большой бенчмарк для оценки моделей

Оценка качества и возможностей современных языковых моделей – проблема отнюдь не тривиальная. Это в очередной раз доказал коллектив из более чем 400 ученых и разработчиков, представив коллаборативный бенчмарк BIG-bench, объединяющий в себе более 200 задач. Модели проверяют на широком круге задач: от традиционных, таких как ответы на вопросы и определение иронии, до более экзотичных, например, умение ставить мат в один ход.

Комментарий Михаила

Колоссальная работа, важность которой сложно переоценить. Некоторые задачи могут показаться странными, но в совокупности они помогают определить границы возможностей современных моделей. Уверен, что в будущем бенчмарк станет еще разнообразнее и вместе с этим – объективнее.

Туманное будущее общего ИИ

Ян ЛеКун, один из пионеров искусственного интеллекта, поделился своими мыслями относительно будущего «умных машин». В статье автор рассуждает о том, как наделить модели здравым смыслом, почему современные языковые трансформеры обречены на провал, а также предлагает архитектуру возможной системы «автономного интеллекта».

Комментарий Михаила

Альтернативный взгляд на настоящее и будущее ИИ очень актуален для нас в текущей ситуации дефицита оборудования. Проектировать огромные модели и закидывать их «железом» – не единственно верный путь, а предложенная ЛеКуном JEPA вполне может оказаться привести к революции в ИИ.

Генеративное искусство покоряет глянец

DALLE-2 всего за 20 секунд сгенерировала обложку для журнала Cosmopolitan. Правда цифровая художница Карен Икс, которую пригласили для работы над обложкой, рассказала, что она потратила много часов на подбор идеального текстового запроса, и перепробовав тысячи и тысячи вариантов, остановилась на следующем: «широкоугольный снимок с нижнего ракурса женщины-астронавта со спортивным телосложением, идущей в камеру на Марсе в бесконечной Вселенной, в стиле цифрового искусства».

Комментарий Михаила

Очередное доказательство того, что генеративные модели продвинулись уже очень далеко. Теперь это не только смешно или страшно, но и действительно красиво и практически применимо. Следующий шаг – рекламные креативы, сгенерированные на основе ваших интересов и предпочтений.