Google Brain нашла способ взлома и перепрограммирования нейросетей

Исследователи из Google Brain описали метод атак для перепрограммирования нейронных сетей, который даже не требует от злоумышленника заранее определять желаемый результат.

Принцип работы

Хакер получает доступ к параметрам генеративно-состязательной нейросети и вводит помехи или данные, которые меняют исходные изображения. Попав в сеть, они приспосабливают имеющиеся навыки для решения новых задач.

Ученые успешно протестировали систему на шести алгоритмах. Разработчики взяли набор картинок, каждую из которых разделили на квадраты, и заставили нейросети считать номера квадратов вместо поиска белых акул и страусов на них. В другом эксперименте подменили базу данных, и в итоге нейросеть начала распознавать изображения по набору CIFAR-10, а не ImageNet, по которому она обучалась.

Злоупотребление

С помощью подобных моделей потенциально можно красть данные для перепрограммирования систем компьютерного зрения в облачных сервисах или майнить криптовалюту. По мнению авторов исследования, успешная атака позволит взламывать виртуальные помощники в телефонах пользователей с доступом к аккаунтам электронной почты, соцсетей и банковским картам владельца.

Использование нейросетей все глубже проникает в различные сферы жизни человека. В июле 2018 года ученые представили алгоритм, который по снимку со спутника генерирует изображение той или иной местности. Он может помочь географам более точно классифицировать участки земной поверхности.