Intel AI Lab открыла библиотеку обработки языка для диалоговых систем

Intel AI Lab открыла исходный код библиотеки для обработки естественного языка, основанной на наборе моделей глубинного обучения. Библиотека создана для совершенствования чат-ботов и виртуальных помощников. Например, она учит распознавать категории объектов, понимать намерения пользователя и то, каких он ждёт действий.

Код библиотеки написан на языке Python и распространяется под лицензией Apache 2.0. Она поддерживает работу с фреймворками машинного обучения Intel Nervana™ graph, Intel neon, TensorFlow, Dynet и Keras.

Состав

В NLP Architect входят:

• набор базовых моделей NLP для обработки информации на естественном языке;
• модули NLU для распознавание смысла информации на естественном языке;
• модули для семантического разбора;
• компоненты для создания диалоговых систем с элементами искусственного интеллекта, таких как чат-боты;
• шаблоны для построения готовых сервисов и примеры приложений с реализацией отвечающих на вопросы автоинформаторов, систем машинного чтения и интерфейсов для визуализации взаимосвязи между словами.

Задачи

По словам разработчиков, NLP Architect будет полезна:

• в тренировках моделей с использованием предоставляемых алгоритмов, эталонных наборов данных и собственных данных;
• при создании новых доступных моделей и расширении существующих;
• в исследованиях применимости моделей глубинного машинного обучения для решения задач обработки информации на естественном языке;
• в оптимизации алгоритмов машинного обучения;
• для интеграции в проекты готовых модулей и утилит, предоставляемых библиотекой.

Модели библиотек NLP и NLU пригодны для разбора зависимостей между языковыми конструкциями, определения смысловых примитивов и маркировки слотов, применения сетей памяти для построения диалогов, применения сетей ключ/значение для организации взаимодействия в форме вопрос/ответ, использования моделей векторов для расстановки слов.

NLP и NLU используются при проведении семантической сегментации словосочетаний, выделении терминов, определении смысловой информации и разбивке текста на структурные элементы.

Модели обработки естественного языка

В библиотеке реализовали набор моделей глубинного обучения, ориентированных на работу с естественной речью. Функции не фокусируются на выполнении задач определенной специфики, но Intel думает над вариантами.

Некоторые инструменты в библиотеке созданы на наборах, обычно используемых в исследовательских кругах для тестов производительности. Она также обучает модели с помощью пользовательских данных или открытых баз, разработанных на основе TensorFlow от Google или PyTorch от Facebook.

С библиотекой Intel AI Lab разработчики смогут загружать тренировочные наборы, обучать на них нейросеть Intel. После — запускать тренировку самостоятельно вне языковой библиотеки и использовать модель в качестве входных данных приложения.

Разработка диалогового искусственного интеллекта с помощью ряда крупных компаний сейчас поставлена на поток. Создавать собственных голосовых ассистентов помогает Watson Assistant от IBM. С Яндекс.Диалогами можно создавать собственные навыки для «Алисы». Также компании разрабатывают виртуальных помощников для врачей и композиторов.