DeepMind сообщила о работе над контролем поведения ИИ

Исследовательская группа DeepMind опубликовала подробности исследования поведения нейросетей. В качестве титульной проблемы учёные рассматривают непредвиденные, потенциально вредоносные действия ИИ. Такое поведение следует отличать от заблуждений (bias), возникающих в процессе обучения. Непредвиденное поведение характеризуется тем, что ИИ, пытаясь достичь поставленной цели, оптимизирует свои действия, используя доступные средства любыми возможными способами.

Проблемы непредвиденного поведения

Писатели-фантасты давно задавались вопросом, насколько далеко может зайти ИИ в оптимизации поведения, стараясь достичь поставленной цели. В классическом романе Артура Кларка «2001: Космическая одиссея» искусственный интеллект HAL 9000, пытаясь обеспечить выполнение полученных инструкций, почти полностью уничтожил экипаж корабля.

В настоящее время нейросети получили повсеместное распространение, и нежелательная оптимизация из разряда гипотетических проблем перекочевала в разряд реальных.

Исследователи DeepMind приводят в пример обучение ИИ игре CoastRunners, посвященной гонкам на катерах. В процессе тренировки нейросеть обнаружила, что получает больше очков за столкновения с определёнными объектами на маршруте, чем за окончание гонки:

Исследователи DeepMind выделили три аспекта контроля поведения ИИ:

• определение требуемого результата;
• устойчивость к воздействиям;
• контроль над исполнением.

Определение требуемого результата

По мнению учёных, при проектировании нейросети определение задачи начинается с «идеальной спецификации», желаемого результата, который осознаёт проектировщик, но который зачастую сложно сформулировать. В процессе создания ИИ разработчик должен выразить эту задачу языком, понятным системе. DeepMind называет это «чертёж». Третья стадия, «поведение», отражает реальный результат, который выдаёт система.

Существует несколько примеров «поведения» нейросетей, не соответствующего изначальной задаче, возникшей у разработчиков или сформулированной для системы. Для большей наглядности команда DeepMind приводит в пример миф о царе Мидасе, получившем возможность попросить у богов исполнения желания. В качестве идеальной спецификации герой мифа хотел материального благосостояния. На этапе «чертежа» он сформулировал это как «хочу, чтобы всё, к чему я прикасаюсь, превращалось в золото». Однако на этапе реализации он превратил в золото также пищу и некоторых близких родственников.

Работа на этим аспектом подразумевает приведение «поведения» нейросети в максимальное соответствие с "идеальной спецификацией«.

Устойчивость к воздействиям

Ещё одна проблема, с которой сталкивается ИИ — неожиданные внешние воздействия. В качестве примера смены окружения команда приводит клинингового робота, работавшего в среде без домашних животных, и при появлении кошки или собаки пытающегося её почистить. Другая сложность — небезопасное обучение. Так, тот же робот может получить повреждения от удара электрическим током, пытаясь установить лучший вариант чистки подключенной к сети розетки и используя мокрую швабру.

Контроль над исполнением

Контроль над исполнением разделяется на два момента: мониторинг и управление. Мониторинг подразумевает пассивное наблюдение, как автоматическое, так и осуществляемое оператором. В контроль исследователи включили возможность интерпретирования результатов и прерывания исполнения программы. Интерпретация апеллирует к «проблеме чёрного ящика», выражающейся в том, что мотивы принимаемых ИИ решений зачастую непрозрачны. Это вызывает недоверие к нейросетям, особенно в свете исследований относительно заблуждений, которым подвержены такие системы.

Структурировав задачу подобным образом, команда исследователей намеревается найти способ сделать использование нейросетей безопасным и расширить область их применения.

DeepMind активно работает над совершенствованием технологии искусственного интеллекта. В конце сентября 2018 года группа объявила о создании совместно с Unity тестовой площадки для ИИ-агентов.