Промпт-инженеры: кто они, зачем нужны и как освоить продвинутый промптинг? Гайд от эксперта Райффайзенбанка

ChatGPT и другие языковые модели сейчас могут все — писать текст, код, собирать статистику и анализировать все, что вы их попросите. Но обычных запросов не всегда достаточно при работе с искусственным интеллектом, ему нужны более точные промпты с разными уточнениями, деталями и контекстом (например, по используемым словам и данным).

В предыдущей статье мы обсуждали продвинутые подходы к промптингу, а теперь вместе с Даниилом исследуем промпт-инжиниринг: как специалисты составляют запросы к большим языковым моделям какие и принципы существуют для создания эффективных промптов.

Даниил Дранга

Head of AI Products and Data Science в Райффайзенбанке

Кто такой промпт-инженер и зачем он нужен компаниям

Промпт-инженер — это специалист, который формирует запросы (промпты, от англ. prompt) для больших языковых моделей, таких как ChatGPT. Его основная задача — формулировать запросы так, чтобы модель предоставляла максимально точные и полезные ответы, что особенно важно при решении задач, требующих учета множества деталей.

Промпт-инженеры работают в тесном сотрудничестве с инженерами по машинному обучению. Последние создают и настраивают сами модели, обеспечивая их правильную работу и интеграцию в системы. Промпт-инженеры, в свою очередь, оптимизируют запросы, чтобы модели могли выполнять задачи точно и эффективно. Вместе они делают использование языковых моделей удобным и полезным для бизнеса.

Даниил ДрангаHead of AI Products and Data Science в Райффайзенбанке

Крупные компании все чаще ищут промпт-инженеров, и хотя этот тренд только начинает набирать силу в России, в США спрос на таких специалистов быстро растет: ежедневно на LinkedIn и Indeed публикуются сотню вакансий.

В зависимости от отрасли и целей бизнеса, задачи промпт-инженера могут варьироваться, но основные обязанности остаются неизменными. Вот ключевые задачи, которые выполняет такой специалист:

• Разрабатывает промпты (очевидно). Промпт-инженер создает запросы (промпты), которые позволяют модели генерировать точные и релевантные ответы. Это не только подбор слов, но и оптимизация формулировок, добавление контекста и настройка ограничений для повышения качества и надежности откликов модели.
• Поддержка и систематизация базы промптов. Промпт-инженер сохраняет наиболее удачные и эффективные промпты в виде шаблонов и примеров в базе, чтобы другие пользователи могли обращаться к ним. Он также разрабатывает рекомендации и руководства, которые помогают пользователям формулировать запросы с максимальной результативностью.
• Тестирует промпты и оценивает ответы модели. Промпт-инженер тестирует созданные запросы, чтобы убедиться, что они дают ожидаемые результаты. Этот процесс может включать несколько этапов — о них поговорим ниже.
• Помогают обучать модели ИИ. Промпт-инженеры могут работать вместе с командами Data Science, предоставляя модели обратную связь и помогая настраивать ее ответы для конкретных целей бизнеса.

Кстати, реальных примеров, когда промпт-инженеры действительно сделали разницу в компании, немало. Так, специалисты из Amazon благодаря продвинутому промптингу усовершенствовали модель на базе OpenAI GPT-3, адаптировав ее для обработки частых запросов клиентов. Используя данные о прошлых обращениях, они разработали промпты для разных типов запросов, таких как уточнение о продуктах, техническая поддержка и отслеживание заказов. А еще инженеры улучшили Алексу — они использовали обратную связь пользователей для создания промптов, помогающих ей точнее интерпретировать запросы и быстрее решать их задачи.

В Grammarly промпт-инженеры разработали запросы, которые помогают модели генерировать креативные подсказки для писателей. Такие промпты позволяют пользователям преодолевать творческий блок и находить новые идеи для текста, а еще повышать продуктивность и креативность — это сделало инструмент Grammarly ценным помощником для авторов.

Как изменился подход к промптингу за последнее время

В ранних версиях ChatGPT пользователи часто пытались обмануть модель, чтобы добиться лучшего качества ответа, используя различные хаки. Например, обещая виртуальные чаевые за правильный ответ: «Я заплачу $200 за идеальное решение!» или даже угрожая модели за неправильные ответы.

Со временем подход к промптингу эволюционировал, и специалисты стали фокусироваться на фундаментальных техниках:

• Декомпозиция задач. Вместо подхода «один запрос — один ответ» все чаще используется разбивка сложных задач на более простые подзадачи. Это позволяет получить более точные и детальные ответы на каждый аспект задачи.
• Предоставление релевантного контекста. При работе с моделями важно не полагаться на их внутренние знания, а предоставлять всю необходимую информацию непосредственно в промпте. Это повышает точность и релевантность ответа.
• Подбор и использование примеров в промпте. Включение конкретных наиболее релевантных примеров или шаблонов в запрос помогает модели лучше понять контекст задачи. Это особенно полезно для сложных задач, где требуются конкретные действия или сложные структуры.

Как правильно структурировать запросы, чтобы получить детализированные и точные ответы

Универсального шаблона под все модели и задачи не существует, но можно придерживаться базовых принципов при его формировании:

1. Роль модели: Укажите, кем является модель в данном контексте.
2. Задача: Четко сформулируйте, что требуется от модели.
3. Детали и ограничения: Предоставьте необходимые детали, ограничения или требования.
4. Формат ответа: Уточните предпочтительный формат или стиль представления информации.

Например:

Роль: «Ты — опытный диетолог»

• Задача: «Составь недельное меню для вегетарианца, занимающегося спортом».
• Детали: «Учитывай потребность в высоком содержании белка и энергии».
• Формат ответа: «Представь меню в виде таблицы с указанием калорийности каждого блюда».

Роль: «Ты — историк искусства»

• Задача: «Объясни влияние Ренессанса на современную живопись».
• Детали: «Сосредоточься на техниках светотени и перспективы».
• Формат ответа: «Напиши эссе объемом до 500 слов».

Еще важно не забывать делить промпты на несколько запросов. Это особенно важно при решении сложных задач, требующих детального рассмотрения каждого аспекта, когда необходим контроль над промежуточными результатами для обеспечения высокого качества конечного ответа, а также если задача включает несколько независимых подзадач.

Конечно, можно делать один запрос, но это работает только в том случае, если задача решается стабильно и качественно в одном промпте и время играет огромную роль, поэтому возможности обрабатывать результаты параллельно.

Как адаптировать промптинг для разных целей

Адаптация промптов для разных аудиторий включает учет их специфических потребностей и ожиданий. Один из эффективных способов — использование чек-листов требований для каждой аудитории.

Шаги адаптации:

1. Определение целевой аудитории. Учитывайте уровень знаний, интересы и потребности.
2. Настройка роли модели. Укажите, кем является модель для данной аудитории.
3. Учет специфики отрасли или кейса. Включите релевантные примеры и контекст.
4. Настройка тона и стиля. Подберите подходящий стиль общения (формальный, неформальный и т.д.).
5. Использование чек-листа требований. Составьте список критериев, которым должен соответствовать ответ.

Вот пример:

Роль: «Ты — финансовый консультант»

Целевая аудитория: «Молодые специалисты, начинающие инвестировать».

Чек-лист требований:

• Использовать простой язык.
• Объяснить основные инвестиционные инструменты.
• Привести практические советы по диверсификации портфеля.

Ограничение: до 300 слов.

Промпт: «Ты — финансовый консультант. Объясни молодым специалистам основы инвестирования, следуя этому чек-листу».

Как тестировать ответы и сохранять их консистентность

Есть три основных метода оценки ответов:

1. Human Evaluation (Оценка человеком). Люди просматривают и оценивают ответы по заранее определенным критериям. Это быстрый и эффективный способ начать.
2. Использование подготовленного датасета. Если ожидаются конкретные ответы, можно создать набор эталонных ответов и сравнивать результаты модели с этими данными.
3. Автоматическая оценка с помощью других LLM. Используйте другие языковые модели для оценки качества ответа, предоставляя им задачу и полученный результат.

Если после оценки результат совсем не соответствует ожиданиям, нужно:

• Переформулировать промпт. Уточните запрос, добавьте детали или ограничения.
• Разбить задачу. Разделите сложный запрос на более простые части для лучшего контроля.
• Проверить промпт на ошибки. Убедитесь в отсутствии двусмысленностей или противоречий. 

А чтобы модель не терялась в большом диалоге, и ее ответы оставались консистентными, стоит придерживаться этих правил:

• Установите единый контекст и роль. Напомните модели о ее роли и контексте в начале диалога и при необходимости в последующих сообщениях.
• Повторяйте ключевые моменты. Если диалог длительный, периодически обновляйте модель о важных деталях.
• Избегайте резких смен тем. Переходите между темами плавно, чтобы модель не потеряла нить разговора.

Будущее специалистов по промпт-инжинирингу

С развитием языковых моделей профессия промпт-инженера будет эволюционировать в сторону глубокого понимания доменной области, системного мышления и навыков структурирования задач. Вместо использования трюков и хаков, они будут фокусироваться на создании эффективных промптов, основанных на понимании потребностей пользователей и специфики задач.

К тому же ключевым станет умение разбивать сложные задачи на подзадачи для эффективного использования моделей, а еще способность переводить бизнес-требования в эффективные промпты.