Google представила ИИ для обнаружения в контенте сексуального насилия над детьми

Google объявила о выпуске Content Safety API — технологии для автоматического определения на фото или видео насилия над детьми. В основе ИИ лежит нейронная сеть типа DNN.

Особенности Content Safety API

Системы автоматической идентификации такого контента использовались и раньше. Однако их работа строилась на сравнении изображений с уже имеющимися в базе данных. По словам ведущего инженера проекта Никола Тодоровича (Nikola Todorovic) и менеджера Абхи Чаудхури (Abhi Chaudhuri), разработанная Google технология способна определить незаконный контент, не опираясь на старые изображения.

Доступ к Content Safety API неправительственным организациям и партнёрам по индустрии будет предоставляться бесплатно по запросу.

По оценкам представителей проекта, инструмент позволит увеличить количество обрабатываемой модераторам информации на 700 %. Кроме того, быстрая реакция на размещённые в сети материалы поможет спасти больше жертв насилия.

Защитить защитников

Помимо заботы о детях, система несёт ещё одну важную функцию. Специалисты, модерирующие изображения, подвергаются серьёзным психологическим нагрузкам. Им приходится просматривать огромное количество потенциально травмирующего контента. Теперь часть нагрузки готов принять на себя бесстрастный искусственный интеллект.

Компания объявила о запуске новой технологии на волне критики, которой подверглась, объявив о планах возвращения на китайский рынок. Google намеревается использовать в Китае поисковый сервис со встроенной цензурой. При этом интернет-гигант отказался реализовать этот механизм где-либо ещё.

Предпосылки создания Content Safety API

Согласно исследованиям Национального агентства Великобритании по борьбе с преступностью (NCA), в настоящее время на территории страны живут около 80 тысяч человек, способных представлять угрозу для детей в Интернете. Эти данные заставили правительство предпринять меры, стимулирующие такие компании, как Facebook и Google, приложить больше усилий в борьбе с насилием над детьми. Content Safety API — реакция на инициативу правительства Великобритании.

Сеть может быть небезопасным местом, особенно для неопытных пользователей, и одним из аспектов безопасности является просветительская работа. В 2017 году Google выпустила курс для обучения детей правильному поведению в Интернете.