Найден новый способ поиска ошибок в ИИ беспилотных автомобилей

Ученые представили свое исследование на ежегодном Симпозиуме по основам операционных систем (Symposium on Operating Systems Principles, SOSP). Конференция проходила в Шанхае с 28 по 31 октября. Новый метод, DeepXplore, использует по крайней мере три нейронные сети. Они взаимодействуют как «перекрестные оракулы», проверяя точность работы друг друга.

Как работает DeepXplore?

Исследователи из Колумбийского и Лихайского университетов разработали DeepXplore для решения проблемы оптимизации, в которой они стремились достичь наилучшего баланса между двумя целями. Первая — максимизировать число нейронов, активированных в нейронных сетях. Вторая — инициировать как можно больше противоречивых решений среди разных нейронных сетей.

Предполагая, что большинство нейронных сетей принимают правильное решение, DeepXplore автоматически перенастраивает нейронную сеть, которая приняла иное решение, чтобы она следовала примеру большинства в данном сценарии.

Инджи Цао, доцент кафедры информатики Лихайского университета, говорит:

Это платформа дифференциального тестирования, которая может найти тысячи ошибок в беспилотных автомобилях и похожих нейросетевых системах.

Неправильное решение ИИ беспилотного автомобиля может повлечь за собой очень неприятные последствия. Например, автомобиль может столкнуться с другой машиной, врезаться в ограждение, сбить пешехода или велосипедиста. Сведение таких ошибок к минимуму является очень важной задачей.

При тестировании DeepXplore стремится максимизировать охват нейронов, активируя их максимальное количество и различные пути нейронных сетей. Такой подход дает возможность активировать 100 % сетевых нейронов, что примерно на 30 % больше, чем в обычных методах тестирования.

Тестирование 15 продвинутых нейронных сетей на 5 общедоступных наборах данных показало, что DeepXplore может найти тысячи ранее не обнаруженных ошибок в самых разных приложениях глубокого обучения. В тестовые наборы данных включались сценарии автопилотирования автомобиля, распознавания объектов на изображениях и обнаружения замаскированного вредоносного ПО.

DeepXplore еще не может гарантировать обнаружение абсолютно всех ошибок в системе. Однако эта технология более обширна и показывает себя лучше, чем старые методы, при тестировании крупномасштабных нейронных сетей. Это несомненно шаг навстречу безопасному беспилотному вождению.