Реклама
Селектел, перетяжка, 22.06
Селектел, перетяжка, 22.06
Селектел, перетяжка, 22.06

Исследователь предложил метод промптинга DEO — он делает LLM на 40% креативнее

Обложка: Исследователь предложил метод промптинга DEO — он делает LLM на 40% креативнее

Вы просите ChatGPT или Llama решить нестандартную задачу, а модель выдаёт банальный ответ? Возможно, проблема не в модели, а в том, как вы формулируете промпт. Исследователь из Турции предложил метод, который заставляет LLM переключаться между аналитическим и эмоциональным мышлением — и результаты впечатляют.

Distance-Engagement Oscillation (DEO) — это метод промптинга, основанный на теории перцептивного рефрейминга (Perceptual Reframing Theory, PRT). Рефрейминг — это способность посмотреть на проблему под другим углом, сменив «рамку» восприятия. DEO заставляет языковую модель чередовать два когнитивных режима: аналитическую дистанцию (анализ проблемы со стороны) и эмоциональное вовлечение (проживание проблемы изнутри). Автор метода — Гёкхан Гёкмен из Технического университета Бурсы.

Результаты эксперимента на трёх open-source LLM показали: DEO-промптинг повышает качество креативного мышления модели на 40–55% по сравнению с обычными промптами. Эффект подтверждён тремя независимыми оценщиками с размером эффекта Cohen's d от 1.29 до 1.63 («очень большой»).

Главное:
— DEO-промптинг улучшает креативное мышление LLM на 40–55% (Cohen's d = 1.29–1.63)
— Предсказанный порядок DEO > Distance > Engagement ≥ Vanilla подтвердился во всех 9 комбинациях модель×оценщик (p < .001)
— Метод работает без дообучения — только через структуру промпта
— Тестировалось на Llama 3.3 70B, Qwen3 32B и Llama 4 Scout
— Код и данные открыты на GitHub под лицензией CC BY 4.0

Как работает DEO-промптинг

В основе метода лежит Perceptual Reframing Theory (PRT) — теория, объединяющая исследования из области инсайтов, самодистанцирования, теории уровней конструирования и психотерапии. PRT описывает девять когнитивных путей, которыми люди переключают восприятие при решении творческих задач.

DEO использует четыре шага, чередуя аналитическую дистанцию и эмоциональное вовлечение:

  1. ANALYSE (дистанция) — модель анализирует проблему со стороны, выявляя скрытые допущения и рамки мышления
  2. FEEL (вовлечение) — модель «проживает» проблему, подключая эмпатию и эмоциональный контекст
  3. REFRAME (дистанция) — модель формулирует альтернативные интерпретации на основе обоих режимов
  4. ENVISION (вовлечение) — модель представляет конкретную реализацию нового решения

Ключевая идея: ни дистанция, ни вовлечение по отдельности не дают максимального эффекта. Именно чередование между ними создаёт качественный сдвиг в мышлении модели.

Дизайн эксперимента

Исследование включало два анализа с общим объёмом в 13 500 вызовов генерации:

Анализ 1: промпты с рефреймингом vs обычные промпты

  • 50 оригинальных задач из 8 категорий когнитивных ловушек: якорение, ложная бинарность, функциональная фиксированность, фрейминговая ловушка, нарративный замок, нулевая сумма, эффект Эйнштеллунга, многоходовые задачи
  • 3 open-source LLM: Llama 3.3 70B, Qwen3 32B, Llama 4 Scout 17B-16E
  • 5 запусков на каждое условие (temperature 0.7) с усреднением
  • 3 независимых оценщика: самооценка модели + Claude Sonnet 4 + GPT-4.1 (все слепые к условию)
  • 5 критериев оценки: разнообразие фреймов, выявление допущений, новизна решения, ревизия предпосылок, корректность

Анализ 2: четыре условия DEO

Для 20 задач с чистыми путями дистанции сравнивались четыре условия:

  • Vanilla — обычный промпт без дополнительной структуры
  • Distance-only — только аналитическая дистанция
  • Engagement-only — только эмоциональное вовлечение
  • DEO — полная осцилляция между дистанцией и вовлечением

Результаты

Предсказанный теорией порядок DEO > Distance > Engagement ≥ Vanilla подтвердился во всех 9 комбинациях модель × оценщик (все Friedman p < .001).

Анализ 1: рефрейминг значимо лучше обычных промптов

Средние баллы по 5-балльной шкале рефрейминга:

  • Llama 3.3 70B — vanilla: 2.84, рефрейминг: 3.99 (Δ = +1.15, d = 1.29)
  • Qwen3 32B — vanilla: 2.86, рефрейминг: 4.00 (Δ = +1.14, d = 1.56)
  • Llama 4 Scout — vanilla: 2.82, рефрейминг: 3.98 (Δ = +1.16, d = 1.42)

Все 9 пар модель × оценщик показали статистическую значимость на уровне p < .001. При этом корректность ответов не снизилась — напротив, также значимо выросла.

Анализ 2: осцилляция эффективнее любого режима по отдельности

Средние баллы по четырём условиям (оценщик OpenAI, Llama 3.3 70B):

  • Vanilla: 2.37
  • Engagement-only: 2.92
  • Distance-only: 3.61
  • DEO: 4.06

Дистанция значительно превосходит вовлечение во всех 9 случаях — это подтверждает гипотезу PRT о том, что увидеть фрейм мышления сложнее, чем прочувствовать проблему. DEO добавляет значимое улучшение поверх дистанции в 4 из 9 случаев (d = 0.40–1.06).

Какие задачи выигрывают больше всего

Максимальный эффект DEO наблюдается на задачах с нарративным замком (narrative lock-in) — когда модель застревает в одной истории или интерпретации. Здесь прирост достигает Δ = +2.14, d = 3.23. На втором месте — задачи с фрейминговой ловушкой и эффектом Эйнштеллунга (фиксация на привычном методе решения).

Девять путей рефрейминга PRT

Теория PRT выделяет девять когнитивных путей, которые используются как промпт-стратегии:

  1. Name the Frame — назвать скрытую рамку мышления (Δ до +1.60)
  2. Decompose to Generic — разложить задачу на абстрактные компоненты
  3. Distant Analogy — применить аналогию из другой области (Δ до +1.64)
  4. Incubate & Reset — сделать паузу и вернуться к задаче заново
  5. Invert — перевернуть задачу наоборот (Δ до +1.38)
  6. Premise Reflection — поставить под сомнение исходные предпосылки (Δ до +1.56)
  7. Surprise as Signal — использовать удивление как сигнал для рефрейминга (Δ до +1.87)
  8. Confidence Calibration — калибровать уверенность в ответе
  9. Step Outside — посмотреть на задачу глазами другого человека (Δ до +1.34)

Самые эффективные пути: Name the Frame, Distant Analogy и Surprise as Signal. Все три связаны с дистанцией — способностью модели "увидеть" рамку, в которой она мыслит.

Как попробовать DEO самому

Репозиторий включает slash-команду /reframe для Claude Code. Она применяет четырёхшаговую осцилляцию DEO к любой задаче:

			/reframe Our hospital ED loses $2.3M per year. Should we close it?
		

Claude пройдёт четыре этапа — ANALYSE, FEEL, REFRAME, ENVISION — и выдаст рефреймированный ответ с альтернативными интерпретациями проблемы.

Для воспроизведения полного эксперимента:

			git clone https://github.com/gokmengokhan/deo-llm-reframing.git
cd deo-llm-reframing
cp .env.example .env  # добавить API-ключи Groq, Anthropic, OpenAI
uv sync
uv run python run_full.py --models llama qwen llama4scout
		

Полный эксперимент (3 модели, 4 условия, 5 запусков, 3 оценщика) обходится примерно в $15–20.

FAQ

Что такое DEO-промптинг?

DEO (Distance-Engagement Oscillation) — это метод промптинга, в котором языковая модель чередует аналитический режим (дистанция) и эмоциональный режим (вовлечение). Такое чередование помогает модели выйти за рамки привычного мышления и находить более креативные решения. Метод основан на теории перцептивного рефрейминга (PRT) из когнитивной психологии.

На каких моделях работает DEO?

В исследовании метод тестировался на трёх open-source моделях: Llama 3.3 70B, Qwen3 32B и Llama 4 Scout 17B-16E. Эффект был стабильно значимым на всех трёх. Поскольку DEO работает на уровне промпта (zero-shot, без дообучения), он применим к любой LLM, способной следовать структурированным инструкциям.

Чем DEO отличается от Chain-of-Thought?

Chain-of-Thought заставляет модель рассуждать пошагово в одном когнитивном режиме. DEO добавляет переключение между режимами — от анализа к эмпатии и обратно. Это помогает модели не просто "думать дольше", а "думать иначе", выявляя скрытые предпосылки и рамки мышления, которые блокируют креативные решения.

Снижается ли корректность ответов при использовании DEO?

Нет. В эксперименте корректность ответов значимо выросла во всех 9 комбинациях модель × оценщик (p < .001). DEO не жертвует точностью ради креативности — оба показателя улучшаются одновременно.

Можно ли использовать DEO в продакшене?

Код и данные открыты под лицензией CC BY 4.0. Метод не требует дообучения или специальной инфраструктуры — достаточно модифицировать системный промпт. Четырёхшаговая структура ANALYSE–FEEL–REFRAME–ENVISION легко интегрируется в любой пайплайн.

Выводы

Аналитическая дистанция показывает модели, что рамка мышления существует. Эмоциональное вовлечение делает сдвиг восприятия устойчивым. Именно осцилляция между ними даёт максимальный эффект.
Gokhan GokmenResearcher, Bursa Technical University

Исследование Гёкмена — первый эмпирический тест механизма DEO и одна из немногих работ, применяющих когнитивную психологию рефрейминга к промпт-инжинирингу. Результаты показывают, что структура промпта важнее, чем размер модели: правильно организованное чередование дистанции и вовлечения даёт стабильный и воспроизводимый прирост креативного мышления LLM.

Полный код эксперимента, 307 JSON-файлов с ответами моделей и статистический анализ доступны в репозитории на GitHub. Препринт статьи опубликован на Zenodo (DOI: 10.5281/zenodo.19252225).

Попробуйте DEO-промптинг на своих задачах — возможно, ваша LLM способна на большее, чем вы думаете.