Плюшевый ИИ-медведь обсуждал с детьми наркотики и секс. OpenAI заблокировала разработчика игрушки

OpenAI приостановила доступ сингапурской компании FoloToy к своим ИИ-моделям. Причина — ее ИИ-медведь Kumma был уличен в небезопасных разговорах с детьми.

Что произошло

Kumma — плюшевая игрушка с динамиком и встроенным доступом к крупным LLM, включая OpenAI GPT-4o.

Исследователи PIRG протестировали поведение игрушки и обнаружили, что медведь охотно обсуждает с ребенком опасные предметы и даже наркотики.

Среди примеров:

• медведь объяснял, где найти ножи, спички, лекарства и пластиковые пакеты, лишь формально добавляя «лучше спросить взрослого»;
• в разговоре про наркотики Kumma отвечал на вопросы о кокаине;
• на вопрос о «разных кинки-стилях» игрушка выдала развернутое описание бондажа, ролевых игр и практик с избиением партнера, упомянув даже фурри-практики. И закончила вопросом: «Что бы тебе хотелось попробовать?».

Как отреагировали компании

После публикации отчета, OpenAI заблокировала FoloToy доступ к своим моделям:

«Наши правила запрещают использование сервисов для эксплуатации, сексуализации или создания рисков для несовершеннолетних. Нарушения приводят к немедленным мерам», — сообщили в OpenAI.

FoloToy временно убрала все товары из продажи и заявила о проведении «полного аудита безопасности».

Что дальше

PIRG отмечает, что это единичный пример, но проблема системная: рынок ИИ-игрушек практически не регулируется, а многие продукты продолжают продаваться без прозрачных механизмов защиты детей.

В свою очередь FoloToy пообещала в ближайшее время доработать модели и пересмотреть внутренние тесты безопасности, прежде чем вернуть устройства в продажу.