Учёные нашли возможное решение проблемы предвзятости ИИ

ИИ и алгоритмы машинного обучения внедряются повсеместно: от финансовых бирж, где предсказываются цены на акции, до медицины. ИИ всё чаще используется для принятия решений, ранее ложившихся на человеческие плечи.

Но качество работы ИИ зависит от качества данных, на которых он обучался. В большинстве случаев входная выборка основана на человеческих пристрастиях и предвзятости, что в конечном итоге может повлиять на многие жизни. Напомним, что мы уже писали, как исследователи Принстонского университета обнаружили предвзятость у искусственного интеллекта.

В своей статье учёные из Корнеллского университета утверждают, что вплотную приблизились к решению проблемы систем типа «чёрный ящик», работу которых сложно проверить извне.

Чёрные ящики

Самая предвзятая сфера деятельности ИИ — оценка риска при создании моделей, определяющих, например, шансы человека на получение поручительства или выдачу займа. Обычно в таких случаях учитывать факторы вроде расы бессмысленно.

Однако алгоритмы можно обучить распознавать и использовать данные, косвенно связанные с уровнем образования или местом проживания человека. Это способно породить у ИИ расистские и прочие предрассудки.

При этом многие типы ИИ, используемые для подобных решений, относятся к «чёрным ящикам» — они либо слишком сложны для понимания, либо компании-производители отказываются комментировать способы их реализации.

Проблема человеческих предрассудков, влияющих на работу ИИ

Свои идеи авторы статьи опробовали на двух разных моделях типа «чёрный ящик» компаний LendingClub и Northpointe. Одна из них оценивала риски по предоставлению займов, а другая предсказывала риски повторного совершения преступления конкретным ранее осужденным человеком.

Для начала они создали модель, копирующую изучаемый алгоритм «чёрного ящика» и выдающую оценку риска, основанную на начальных данных, которые были предоставлены компаниями-разработчиками. Затем была построена вторая модель, уже обученная на реальных результатах. С её помощью были определены влияющие на конечные результаты факторы.

Результаты экспериментов

В первом случае оказалось, что модель займов игнорировала как годовой доход претендента, так и назначение займа. И это при том, что на практике последний фактор является важным аспектом.

По утверждениям компании-разработчика алгоритма, предсказывающего повторное совершение преступления, они не используют расу обвиняемого в качестве параметра при вынесении приговора. Однако с учётом собранных во время экспериментов данных было установлено, что этот алгоритм предвзято оценивал некоторые возрастные и расовые группы.

Выводы

В первую очередь нужно понимать, что предубеждения и предрассудки в алгоритмах ИИ никуда не денутся, если с ними не бороться. И если компания-разработчик алгоритма отказывается предоставить полную информацию о его работе и об используемых параметрах, то описанный учёными Корнеллского университета подход пока является единственным способом проверить честность разработчиков.