Cloud Vision API, инструмент для распознавания изображений от Google, оказалось легко обмануть

Команда экспертов из Вашингтонского университета обнаружила способ обмануть Google Cloud Vision API, заставив его ошибочно классифицировать изображения.

Что за Cloud Vision API?

Google выпустила бета-версию этого инструмента год назад. Теперь можно отправить свои изображения в этот облачный сервис и получить информацию о том, что на них изображено. Доступны такие возможности, как распознавание объектов на изображении, обнаружение неприемлемого контента, анализ эмоциональной окраски изображений и извлечение текстовой информации.

Так, а что с обманом?

Исследователи выяснили, что «зашумление» изображений сбивает алгоритмы с толку. Уровень шума варьировался с 10 до 30 процентов, но этого оказалось достаточно.

Процедура добавления шумов очень проста. При этом стоит отметить, что система поиска изображений Google также использует Vision API, поэтому она может выдавать неприемлемый контент, считая, что он удовлетворяет запросу пользователя.

И можно ли это исправить?

Да, инженерам Google не стоит паниковать из-за этого. Патч так же прост, как и сама атака. Достаточно всего лишь пропускать изображение через фильтр шумов перед началом классификации.

Стоит отметить тот факт, что эта же команда совсем недавно смогла обмануть и другой инструмент для распознавания от Google, Video Intelligence API. В видео они вставили изображение автомобиля Audi таким образом, чтобы оно появлялось каждые две секунды. Изменение не слишком заметно невооружённым глазом, так как картинка добавляется через каждые 50 кадров при частоте смены кадров, равной 25. Зато API думает, что видео не про животных, а про машины.

Кроме того, на этой неделе Google выпустила ещё один API для распознавания, на этот раз — речи.