Исследователи Salesforce создали новый алгоритм для краткого изложения текста

Сотрудники компании Salesforce разработали алгоритм для краткого изложения больших текстов. Обучение ПО точно выводить итоги по имеющейся информации может иметь большое значение в таких сферах, как медицина, право и научные исследования. Возможно, машинный анализ текстов, изложение статей и научных работ компьютером скоро станет самым обычным делом.

Принцип работы алгоритма и его преимущества

Каиминг Ксионг (Caiming Xiong), учёный в компании Salesforce, занимающийся проектом, утверждает, что полученный алгоритм, хоть он и далёк от совершенства, может резюмировать новостные статьи или предоставлять синопсис электронных писем клиентов. В алгоритме используется сразу несколько подходов.

Система учится на примерах хороших изложений (подход обучения с учителем), но также использует и другие технологии при анализе оригинального текста и полученного результата. Сочетание двух подходов позволяет избежать наличия в текстах слишком однотипных фраз, что является обычной проблемой подобных алгоритмов.

Такой процесс называется обучением с подкреплением. Он работает по принципу дрессировки животных, когда за качественное выполнение задания даётся какой-то бонус. Этот подход применяется для обучения компьютеров более комплексным задачам, например, прохождению сложных компьютерных игр или управлению роботами. Обучение с подкреплением также является одной из ведущей технологией для создания диалоговых интерфейсов.

Комплексный анализ языка является одной из самых сложных задач для искусственного интеллекта. Но решение этой задачи имеет огромный коммерческий потенциал. Даже ограниченные возможности языкового интеллекта, например, способность анализировать устные или письменные запросы и отвечать на них с использованием более сложных языковых средств, могли бы значительно изменить опыт использования персональных компьютеров.