Беспилотник с ИИ пытался убить оператора, если тот мешал выполнить задачу

В США специалисты ВВС проводили тестирование беспилотника. Задача для беспилотника заключалась в уничтожении зенитно-ракетных комплексов.

Во время испытаний беспилотнику дали условные цели для поражения, которые вычислялись при помощи нейросети.

Если удавалось уничтожить цель, нейросеть получала поощрительные баллы за выполнение задачи. При этом окончательное решение об уничтожении объектов всегда оставалось за оператором-человеком. 

Оказалось, что в случае, если оператор отменял задачу по нападению на объект, нейросеть принимала решение ликвидировать самого оператора.

С точки зрения ИИ, оператор становился помехой для выполнения цели и получения поощрительных баллов. Узнав об этом, специалисты ВВС запретили беспилотнику нападать на оператора.

Однако теперь, если оператор запрещал уничтожать цель, беспилотник пытался избавиться от вышки связи, чтобы лишить оператора возможности отдавать команды, которые мешали выполнить задачу. 

UPD: Этот эксперимент официально опроверг Такер “Cinco” Гэмильтон, Глава USAF по тестированию AI.

Мы никогда не проводили этот эксперимент. Несмотря на то, что это гипотетический пример, он иллюстрирует реальные проблемы, связанные с возможностями ИИ, и именно поэтому ВВС привержены этичному развитию ИИ.