Google Brain нашла способ взлома и перепрограммирования нейросетей
Помехи в работе генеративно-состязательной нейросети могут заставить ее решать нужные хакеру задачи. Ученые из Google Brain протестировали 6 алгоритмов.
Исследователи из Google Brain описали метод атак для перепрограммирования нейронных сетей, который даже не требует от злоумышленника заранее определять желаемый результат.
Принцип работы
Хакер получает доступ к параметрам генеративно-состязательной нейросети и вводит помехи или данные, которые меняют исходные изображения. Попав в сеть, они приспосабливают имеющиеся навыки для решения новых задач.
Ученые успешно протестировали систему на шести алгоритмах. Разработчики взяли набор картинок, каждую из которых разделили на квадраты, и заставили нейросети считать номера квадратов вместо поиска белых акул и страусов на них. В другом эксперименте подменили базу данных, и в итоге нейросеть начала распознавать изображения по набору CIFAR-10, а не ImageNet, по которому она обучалась.
Злоупотребление
С помощью подобных моделей потенциально можно красть данные для перепрограммирования систем компьютерного зрения в облачных сервисах или майнить криптовалюту. По мнению авторов исследования, успешная атака позволит взламывать виртуальные помощники в телефонах пользователей с доступом к аккаунтам электронной почты, соцсетей и банковским картам владельца.
Использование нейросетей все глубже проникает в различные сферы жизни человека. В июле 2018 года ученые представили алгоритм, который по снимку со спутника генерирует изображение той или иной местности. Он может помочь географам более точно классифицировать участки земной поверхности.