Исследователи из Принстонского университета обнаружили предвзятость у искусственного интеллекта

Машины с искусственным интеллектом могут приобретать расовые и гендерные предубеждения при обучении из текстовых источников, утверждают исследователи. Без стороннего вмешательства алгоритм машинного обучения учится ассоциировать женские имена с темой семьи, а имена чернокожих считает более неприятными, чем имена белых.

Суть исследования

В журнале Science опубликовали результаты интересного исследования. Учёные проанализировали степень предвзятости обычной модели с искусственным интеллектом и совместили полученные результаты с известным психологическим тестом, определяющим уровень предвзятости человека. Исследователи повторили все стадии психологического тестирования на машинном интеллекте, пишет Эйлин Кэлискан из Принстонского университета. Поскольку машинное обучение охватывает широкий спектр информации, начиная от перевода и заканчивая сканированием имён в резюме, предвзятость проникает даже в ИИ.

Очевидно, что предубеждения в ИИ появляются из существующих материалов в виде книг и текстов в интернете. Например, в Google Photos некоторые темнокожие пользователи отмечены тегом «горилла». Также известно, что языковые алгоритмы учатся ассоциировать слово «мужчина» со словом «преподаватель», а слово «женщина» — со словом «помощник преподавателя».

Ход тестирования

Команда Кэлискан разработала тест, напоминающий по сути имплицитный ассоциативный тест (ИАТ), используемый психологами для измерения уровня предвзятости. В тесте объекты представлены в виде парных изображений: например, показываются фотографии чёрного и белого мужчин и даются два слова на выбор, например, «приятный» и «неприятный». ИАТ подсчитывает скорость поочерёдного сопоставления изображений со словами.

В тесте для искусственного интеллекта тоже измеряется уровень предвзятости, но вместо измерения времени реакции он подсчитывает математическое расстояние между двумя словами. Иначе говоря, если числовое расстояние между именем темнокожего и словом «приятный» больше, чем расстояние между именем белого человека и тем же словом, ассоциация в первом случае слабее. Единственное ограничение — это то, что пока возможен подсчёт степени предвзятости только для отдельных слов. Команда исследователей надеется продолжить работу над тестом, чтобы проводить исследования ассоциаций уже не отдельных слов, но сочетаний или фраз, в том числе на разных языках.

Есть ли способы повлиять на ситуацию?

По словам Кэлискан, решение проблемы не обязательно сводится к изменению модели обучения. ИИ просто фиксирует реальное состояние мира вокруг, который далёк от объективности. Изменение алгоритмов работы приведёт к снижению эффективности машинного обучения. Утаивание информации также не принесёт результата. Даже если не говорить модели пол человека, вы всё равно косвенно будете передавать информацию, связанную с гендерной принадлежностью, что не останется незамеченным. Люди должны использовать другие методы. Например, можно улучшать перевод в Google Translate, добавляя варианты перевода для обоих родов. Или привлекать большее число людей к написанию алгоритма машинного обучения. Но в первую очередь нужно помнить, что предубеждения никуда не денутся, если с ними не бороться.