Facebook рассказала о том, как работает ее система по предотвращению самоубийств

В своем блоге Facebook рассказала об одном из своих инструментов по предотвращению суицида — системе, определяющей степень риска самоубийства по постам и комментариям пользователя.

Как все начиналось

Facebook запустила инструмент еще в марте 2017 года. В то время механизм заключался в том, что пользователи сами оповещали команду сообщества о публикациях, содержащих суицидальные мысли. Однако некоторые посты не доходили до операторов соцсети, а другие доходили слишком поздно. И Facebook сменила вектор развития инструмента.

Теперь тревожные посты ищет система искусственного интеллекта, натренированная с помощью внутреннего инструмента FBLearner на публикациях, о которых люди сообщали вручную.

Тонкая настройка

Разработчики системы вместе с экспертами определили специфические слова и фразы, свидетельствующие о суицидальных намерениях. Но необходима была более тонкая настройка, поскольку те же формулировки люди часто используют в переносном смысле.

Система начала работать с классификатором текста, который разбивал каждую фразу на слова и словосочетания разной длины и давал им разную оценку по алгоритму линейной регрессии. Положительную, если словосочетание часто встречалось в тревожных постах, и отрицательную — в обратном случае. Чем выше положительная оценка, тем больше «вес» словесной конструкции.

В итоге система присваивает публикации уровень, отражающий схожесть ее содержания с содержанием текстов из тренировочного набора. Если уровень достаточно высок, система информирует обученных операторов, а те действуют, учитывая серьезность ситуации, — от предложения психологической поддержки до звонка в полицию.

Классификатор принимает в расчет время суток, день недели и тип поста — публикация или комментарий.

Помощь нейросети

На этом разработчики не остановились. Следующим шагом стало подключение к анализу нейронных сетей, основанных на технологии DeepText. Сформировав словесное векторное пространство, система использует нейросети, чтобы находить релевантные паттерны в рассматриваемых фразах.

Помимо двух классификаторов для разных типов сообщений пользователя разработчики подключили третий, который анализирует комментарии людей, вовлеченных в общение с ним. Такой шаг помогает быстро реагировать на характерные фразы: «Скажи, где ты, я сейчас приеду», — но при этом не оставлять без внимания менее тревожные слова: «Звони в любое время» или “Если что, я всегда рядом”.

Языковой вопрос

Чтобы расширить границы использования системы, разработчики используют комбинацию многоязыкового и одноязыкового классификаторов, а также работают над межъязыковыми свойствами алгоритма DeepText. Это поможет улучшить эффективность системы и обучить ее работе на других языках с меньшими наборами данных.