Топ-5 новостей из мира Data Science — дайджест МТС

Составили список новостей из мира искусственного интеллекта, нейросетей и машинного обучения. С комментариями эксперта!

Михаил Степнов

Руководитель центра R&D Big Data МТС

PaLM: эффектные результаты и эффективное обучение

Новая модель от Google на 540 миллиардов параметров превзошла другие большие языковые модели во few-shot сетапе на 28 из 29 протестированных бенчмарков.

Таких успехов удалось добиться благодаря новому подходу к обучению под названием Pathways. В его основе — использование асинхронного потока данных. Помимо высокого качества данный подход обеспечивает эффективную утилизацию вычислительных ресурсов — почти 60%.

Среди задач, в решении которых преуспела модель, не только традиционный QA или перевод, но даже угадывание фильма по эмодзи и объяснение шуток.

Комментарий Михаила

Большие языковые модели — это настоящий двигатель прогресса в ИИ последних лет. «Стероидная гонка» трансформеров многое дала как науке, так и бизнесу, но она не может идти бесконечно. Подход Google направлен именно на повышение эффективности обучения, а не на простое «закидывание железом».

NVIDIA представила новые GPU

Во время конференции GTC 2022 компания анонсировала новую архитектуру Hopper и первые продукты на ее основе.

Ускоритель вычислений H100 показывает трёхкратный прирост производительности в операциях FP32 по сравнению с предыдущим поколением A100.

В новинке используется движок Transformer Engine, призванный повысить эффективность обучения больших моделей, и 80ГБ памяти HBM3 c пропускной способностью до 3 Тбайт/с.

На основе ускорителей H100 будет построено новое поколение систем DGX и кластеров DGX SuperPOD.

Комментарий Михаила

Важно, что архитектура GPU создается с оглядкой на архитектуру моделей, которые будут на них обучаться. Transformer Engine и другие нововведения позволят в некоторой степени сгладить влияние того факта, что современные модели растут в десятки раз быстрее, чем мощность отдельно взятого ускорителя.

Эволюция генерации изображений с DALL–E 2

Спустя год после анонса DALL-E исследователи из OpenAI представили вторую версию своей модели, предназначенной для генерации изображений по текстовому запросу.

DALL-E 2 не только способна создавать изображения с разрешением в 4 раза больше, но также может редактировать их, добавляя или убирая элементы в соответствии с запросом.

В качестве декодера для новой версии было принято решение использовать диффузионную модель взамен авторегрессионной, исходя из соображений качества генерации и вычислительной эффективности.

Комментарий Михаила

Еще один шаг вперед в развитии мультимодальных моделей, а результаты генерации и правда впечатляют. Помимо движения в сторону AGI, у таких разработок могут быть и вполне практические применения даже в нашем бизнесе, например, генерация рекламных креативов.

МТС AI и Сколтех разработали детоксификатор языка

Созданный специалистами AI-редактор способен детектировать в тексте ненормативную лексику и заменять ее на более приемлемые выражения.

Разработчики отмечают, что данное решение является уникальным для российского рынка, так как существующие сервисы годятся в первую очередь для английского языка.

Решение базируется на двух трансформерных моделях: BERT и T5. Первая предназначена для локального редактирования, а вторая, по сути, переписывает текст целиком в более нейтральном ключе.

Комментарий Михаила

Эти модели нужны для того, чтобы сделать общение в сети комфортным и безопасным. И речь не только о сообщениях чат-ботов, которые могут сказать что-то не то, обучившись на текстах с форумов. У нас появляется возможность предложить пользователям менее токсичные формулировки, сохранив при этом суть сообщения.

Платформа МТС Big Data стала «цифровым прорывом» для энергосетей

Решение от МТС по поиску коммерческих потерь в электросетях стало лидером конкурса «Цифровой прорыв» в рамках международного форума «Электрические сети».

Модель работает на основе данных из автоматизированных систем учёта электроэнергии. Обучаясь на ранее обнаруженных случаях хищения, она способна найти характерные признаки таких событий.

Выявленные подозрительные потребители отображаются на карте в интерфейсе, удобном для планирования выездов бригад.

Комментарий Михаила

Для нас важно, что получается найти применение экспертизе даже за пределами основного бизнеса. В очередной раз команде МТС Big Data удалось показать, что машинное обучение — оно не где-то там, а вот здесь, в прикладных и очень важных задачах, помогает, например, снизить потери электричества и сделать его дешевле.