В MIT CSAIL разработали новый метод борьбы с заблуждениями ИИ

Команда учёных из Лаборатории информатики и искусственного интеллекта MIT опубликовала работу, посвящённую борьбе с заблуждениями, возникающими у нейросетей в процессе обучения. Основное внимание в работе уделено проблеме сохранения точности прогнозируемых ИИ результатов.

Какие способы борьбы с заблуждениями существуют?

Поскольку с проблемой дискриминационных заблуждений ИИ учёные пытаются справиться не первый год, существуют традиционные методы работы в этой области. Обычно для коррекции обучения в набор данных добавляют некоторое количество информации, которая позволяет нейросети получить более точные данные по конкретной выборке.

Так, в одном эксперименте ИИ должен был отметить предполагаемый уровень доходов лиц в представленной подборке. В результате дискриминационного заблуждения, появившегося в процессе обучения, ИИ вдвое чаще отмечал мужчин как лиц с высоким доходом. Увеличение количества женских анкет в обучающем датасете позволило снизить ошибку на 40 %.

Проблема традиционных методов заключается в том, что подготовленные таким образом наборы данных не отражают реального распределения популяции. Это повышает ошибочность выдаваемых ИИ прогнозов.

Что предлагают учёные?

В своей работе «Why Is My Classifier Discriminatory?» учёные предлагают несколько возможных вариантов решения проблемы. Они считают, что увеличение размера обучающего датасета без изменения пропорций представленных гендерных, социальных и расовых групп позволит ИИ самостоятельно справиться с дискриминационными заблуждениями. По мнению исследователей, сбор дополнительной информации из того же источника, который предоставил изначальный пакет данных, позволит избежать ковариантного смещения.

Такой способ может оказаться затратным, так как придётся оплачивать работу специалистов, размечающих дополнительные данные. Тем не менее, исследователи уверены, что во многих случаях такие затраты будут оправданы.

Второй вариант заключается в кластеризации групп населения, наиболее подверженных дискриминации и последующей отдельной обработке этик кластеров с введением дополнительных переменных. Учёные предлагают использовать этот метод, когда получение дополнительных данных затруднено или невозможно.

Борьба с заблуждениями нейросетей — одно из основных направлений работы специалистов по ИИ в последние годы. Обучаясь на наборах реальных данных, искусственный интеллект склонен усваивать сложившиеся в обществе гендерные и расовые стереотипы. Проблему усугубляет непрозрачность мотивации принимаемых решений. В сентябре 2018 года компания IBM запустила сервис, выявляющий возникающие заблуждения и определяющий мотивацию нейросети.