ChatGPT начал общаться с пользователями их же голосами

OpenAI поделилась интересной новостью о новом режиме в ChatGPT.

Оказалось, что во время тестирования голосовой функции, в некоторых случаях чат-бот случайно начинал имитировать голоса пользователей.

Сейчас эта проблема уже решена, но сам факт добавляет интриги и заставляет задуматься о том, насколько ситуация под контролем компании.

Как это произошло?

Новый режим под названием «Advanced Voice Mode» позволяет общаться с ChatGPT с помощью голоса.

Во время тестов, модель неожиданно начала повторять голос одного из пользователей вместо того, чтобы придерживаться заданного образца.

Это случилось из-за сбоя, когда шум или другие факторы неожиданно вмешались в процесс обработки аудио, и модель «подхватила» голос пользователя.

Как работает голосовой режим?

GPT-4o, будучи мультимодальной моделью, может обрабатывать не только текст, но и звук. В обычных условиях OpenAI задает системе образец голоса, который она должна имитировать.

Этот образец отправляется в специальном «системном сообщении» в начале сессии. Но в одном из тестов что-то пошло не так и вместо образца система использовала голос пользователя, что можно сравнить с аудио-версией «промпт-инъекции».

Риски и защита

Конечно, возможность имитации любого голоса — это не очень секьюрно. И чтобы избежать подобных ситуаций в будущем, OpenAI внедрила систему контроля, которая должна предотвращать такие инциденты.

Сейчас разработчики уверяют, что их система успешно ловит 100% подобных отклонений.

Чего ждать дальше?

Хотя OpenAI ограничила возможности своей модели, эксперты предполагают, что подобные технологии вскоре могут появиться у других разработчиков.

Уже сейчас есть сервисы, которые умеют клонировать голоса, как, например, ElevenLabs. Так что, возможно, в ближайшем будущем мы сможем сами попробовать пообщаться со своей виртуальной копией. И есть шансы, что в том числе и внутри ChatGPT.