В Google создали инструмент для распознавания троллинга и агрессивных комментариев

Все мы сталкивались с агрессивными комментариями или просто троллингом в Сети. По данным исследовательского института Data&Society, более половины жителей США попадали в такие ситуации. Но эта проблема мешает не только читателям. Новостные организации хотят, чтобы читатели обсуждали их контент, но поиск негативных комментариев крайне долог и дорог, и поэтому многие ресурсы просто закрывают комментарии. Однако Google не считает это решением проблемы. 

Сегодня Google и Jigsaw запустили Perspective — инструмент, использующий машинное обучение для распознавания токсичных комментариев. Так принято называть комментарии, содержащие признаки агрессии или троллинга. Используя API, каждый ресурс может настроить эту технологию для себя.

И как она работает?

Perspective оценивает комментарии, опираясь на то, насколько они похожи на помеченные людьми как токсичные. Для точного распознавания Perspective изучил сотни тысяч размеченных комментариев, и каждый новый лишь повысит его точность.

Владельцы ресурсов могут выбирать, что делать с полученной от Perspective информацией. Они могут помечать негативные комментарии для дальнейшей проверки модераторами, или встроить «шкалу токсичности», которую видит автор комментария. Можно даже дать читателям возможность сортировать комментарии по токсичности.

В частности, эта технология была протестирована в The New York Times, где она обрабатывала в среднем 11 тысяч комментариев в день.

И как технология будет развиваться?

Perspective объединяет в себе библиотеку TensorFlow и платформу Cloud Machine Learning. Технология всё ещё развивается, но все мы знаем, что именно время играет в пользу машинного обучения — чем большее количество ресурсов станет использовать Perspective, тем лучше она будет распознавать комментарии.

Помимо улучшения, планируется и расширение. Поэтому в дальнейшем планируется добавление поддержки других языков, а также появление моделей, распознающих, например, оффтоп-комментарии.

В перспективе, Perspective — это не просто улучшение комментариев. Это улучшение общения в Сети.