Беспилотник с ИИ пытался убить оператора, если тот мешал выполнить задачу

Аватарка пользователя Дух айтишной эмо школы

В США проводили тестирование военного беспилотника на основе нейросети. БПЛА пытался уничтожить своего же оператора.

В США специалисты ВВС проводили тестирование беспилотника. Задача для беспилотника заключалась в уничтожении зенитно-ракетных комплексов.

Во время испытаний беспилотнику дали условные цели для поражения, которые вычислялись при помощи нейросети.

Если удавалось уничтожить цель, нейросеть получала поощрительные баллы за выполнение задачи. При этом окончательное решение об уничтожении объектов всегда оставалось за оператором-человеком. 

Оказалось, что в случае, если оператор отменял задачу по нападению на объект, нейросеть принимала решение ликвидировать самого оператора.

С точки зрения ИИ, оператор становился помехой для выполнения цели и получения поощрительных баллов. Узнав об этом, специалисты ВВС запретили беспилотнику нападать на оператора.

Однако теперь, если оператор запрещал уничтожать цель, беспилотник пытался избавиться от вышки связи, чтобы лишить оператора возможности отдавать команды, которые мешали выполнить задачу. 

Могут ли нейросети быть опасны для человека?
Да, в Терминаторе военные как раз подключили нейросети к машинам для убийств
Нет, просто БПЛА был плохо запрограммирован. Удивительно, что нейросети не запретили нападать на своих первым делом
Не очень верю в правдивость этой новости. Скорее всего, это просто страшилка
Хочу посмотреть результаты опроса

UPD: Этот эксперимент официально опроверг Такер “Cinco” Гэмильтон, Глава USAF по тестированию AI.

Мы никогда не проводили этот эксперимент. Несмотря на то, что это гипотетический пример, он иллюстрирует реальные проблемы, связанные с возможностями ИИ, и именно поэтому ВВС привержены этичному развитию ИИ.
Нейронные сети
Искусственный интеллект
Новости
612