Facebook научила ИИ находить мемы и понимать их смысл

Facebook представила систему машинного обучения Rosetta, которая в режиме реального времени извлекает текст из более чем миллиарда опубликованных в соцсети изображений и видео на разных языках, а затем распознает их контекст.

Принцип работы

Rosetta выполняет одновременно два независимых друг от друга процесса: обнаружение областей, которые могут содержать текст, и распознавание слов с помощью сверточной нейросети Faster R-CNN на архитектуре ResNet18.

Алгоритм распознает английский, арабский, хинди, немецкий, испанский и другие языки, включая те, что имеют горизонтальное написание справа налево, диакритические знаки и другие специфические символы.

В будущем корпорация постарается научить систему распознавать большее количество языков, видов нанесения текста и шаблонов изображений.

Использование

Facebook собирается использовать Rosetta для выдачи более персонализированной ленты новостей, а также отслеживания спама, оскорбительного или запрещенного контента. Сейчас его сортируют операторы и это занимает много времени.

В июне 2018 года исследователи из Стенфорда рассказали о модели машинного обучения, способной создавать мемы в стиле «советующих животных». Авторы отметили, что в среднем «искусственный» мем сложно отличить от «настоящего» в контексте качества шутки в нем.