# Advanced Priming & Latent Steering ## Модуль 1. Семантическая активация (Lexical Priming) - **Суть:** Как формулировка задачи, словарь и доменная лексика смещают интерпретацию запроса. - **Ресерч:** [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165), [Large Language Models are Zero-Shot Reasoners](https://arxiv.org/abs/2205.11916), [Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?](https://aclanthology.org/2022.emnlp-main.759). ## Модуль 2. Структурный резонанс (Syntactic Priming) - **Суть:** Как формат запроса и промежуточные блоки влияют на поведение модели: списки, схемы, JSON, таблицы, reasoning traces. - **Ресерч:** [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903), [Tree of Thoughts: Deliberate Problem Solving with Large Language Models](https://arxiv.org/abs/2305.10601), [Large Language Models are Zero-Shot Reasoners](https://arxiv.org/abs/2205.11916). ## Модуль 3. Когнитивный прайминг (Belief & Persona Alignment) - **Суть:** Как роль, правила и аксиомы меняют критерии выбора ответа, стиль и угол анализа. - **Ресерч:** [Role play with large language models](https://www.nature.com/articles/s41586-023-06647-8), [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073). ## Модуль 4. Рекурсивный прайминг (Self-Priming Loops) - **Суть:** Как промежуточные планы, гипотезы, тест-кейсы и critique-проходы повышают качество финального ответа. - **Ресерч:** [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903), [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://arxiv.org/abs/2203.11171), [STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning](https://arxiv.org/abs/2203.14465), [Tree of Thoughts: Deliberate Problem Solving with Large Language Models](https://arxiv.org/abs/2305.10601). ## Модуль 5. Негативный и Заместительный прайминг - **Суть:** Как задавать ограничения, анти-паттерны и альтернативные целевые траектории поведения. - **Ресерч:** Прямая литература по prompt-only negative/substitutive priming уже, чем по reasoning и ICL; полезны смежные работы: [Constitutional AI](https://arxiv.org/abs/2212.08073), [Self-Refine](https://arxiv.org/abs/2303.17651), [Role play with large language models](https://www.nature.com/articles/s41586-023-06647-8). ## Модуль 6. Синтез: Протокольный прайминг - **Суть:** Как собирать несколько слоев управления моделью в единый протокол: роль, формат, примеры, retrieval, reasoning steps. - **Ресерч:** [Learning to Retrieve Prompts for In-Context Learning](https://aclanthology.org/2022.naacl-main.191), [Self-Adaptive In-Context Learning](https://aclanthology.org/2023.acl-long.79), [Tree of Thoughts](https://arxiv.org/abs/2305.10601), [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401). --- # Примеры применения (Кросс-доменный анализ) ### Сфера 1: Юридическая аналитика - **Задача:** Проверить договор на риски. - **Прайминг:** Доменная лексика, четкая роль, структурированный список полей проверки, несколько эталонных примеров замечаний. - **Результат:** Модель реже скатывается в общий пересказ и чаще выдает операциональный review. ### Сфера 2: Код и инженерные задачи - **Задача:** Сгенерировать код, который проходит по требованиям и edge cases. - **Прайминг:** Сначала интерфейс, затем ограничения, затем тест-кейсы, затем код. - **Результат:** Итоговое решение чаще оказывается ближе к реальной спецификации, а не к усредненному шаблону. ### Сфера 3: Объяснение сложной темы - **Задача:** Объяснить материал человеку без глубокого бэкграунда. - **Прайминг:** Роль преподавателя, ограничение на жаргон, обязательный блок с простым примером. - **Результат:** Ответ становится понятнее и устойчивее по стилю. --- ## Модуль 1. Семантическая активация (Lexical Priming) ### Суть метода Лексический прайминг — это управление интерпретацией задачи через словарь запроса. Доменные термины, уточняющие формулировки и правильно заданная рамка задачи помогают модели выбрать более релевантный режим продолжения текста. ### 1. Сферы применения и примеры #### Сфера: Право и комплаенс - **Задача:** Проверка рисков договора. - **Прайминг-токены:** `liability`, `indemnity`, `termination`, `ambiguous clause`, `risk review`. - **Эффект:** Ответ чаще переходит к анализу структуры риска, а не к общему пересказу. #### Сфера: Медицина и биология - **Задача:** Обсуждение клинических данных. - **Прайминг-токены:** `differential diagnosis`, `etiology`, `symptom cluster`, `risk factor`. - **Эффект:** Формулировка лучше задает профессиональную рамку ответа, хотя не заменяет медицинскую верификацию. #### Сфера: Инженерная документация - **Задача:** Составить incident review или technical memo. - **Прайминг-токены:** `root cause`, `failure mode`, `mitigation`, `rollback`, `postmortem`. - **Эффект:** Модель меньше уходит в общий рассказ и чаще выдает прикладную структуру. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Формулировка задачи влияет на поведение модели: [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165). - Короткие изменения framing могут заметно менять reasoning-поведение: [Large Language Models are Zero-Shot Reasoners](https://arxiv.org/abs/2205.11916). #### Косвенно подтверждается: - Контекстная рамка и свойства демонстраций влияют на то, как модель понимает задачу: [Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?](https://aclanthology.org/2022.emnlp-main.759). #### Не подтверждено / требует аккуратности: - Что редкие или "тяжелые" токены сами по себе включают устойчивый скрытый режим знаний. - Что доменная лексика является гарантированным переключателем в экспертное поведение. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Лексический прайминг действует как способ сузить пространство интерпретаций запроса. Чем точнее словарь совпадает с локальной задачей, тем меньше вероятность, что модель уйдет в общий или поверхностный ответ. При этом словарь не добавляет модели новых знаний; он лишь меняет, какие уже доступные паттерны становятся более вероятными. --- ### 4. Практическая ценность - Доменные термины полезны, когда нужно сузить трактовку запроса. - Нужен не просто "умный словарь", а словарь, привязанный к реальной задаче. - Лексический прайминг особенно полезен вместе с примерами и форматными ограничениями. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Быстро задает рамку:** Без длинного объяснения. - **Снижает двусмысленность:** Меньше пространства для общего ответа. #### Минусы: - **Не заменяет данные и примеры:** Один словарь не спасает слабую постановку. - **Чувствителен к контексту задачи:** Те же слова в другой задаче могут не помочь. #### Опасности: - **Туннельное сужение:** Слишком узкий словарь может скрыть важные альтернативы. - **Псевдоэкспертность:** Доменные слова создают видимость глубины без реального качества. --- ## Модуль 2. Структурный резонанс (Syntactic Priming) ### Суть метода Структурный прайминг управляет поведением модели через форму запроса: списки, таблицы, поля, JSON, блоки шагов, явные промежуточные стадии. Формат не делает модель умнее сам по себе, но сужает пространство ответов и задает способ организации вывода. ### 1. Сферы применения и примеры #### Сфера: Машиночитаемый вывод - **Задача:** Получить данные для последующего парсинга. - **Прайминг-структура:** Явная JSON-схема или список полей. - **Эффект:** Снижается вероятность свободной болтовни вместо структурированного вывода. #### Сфера: Аналитика и сравнение - **Задача:** Сравнить варианты решения. - **Прайминг-структура:** Таблица или фиксированные критерии сравнения. - **Эффект:** Модель чаще сопоставляет варианты по одинаковым осям, а не пишет произвольный обзор. #### Сфера: Сложное reasoning - **Задача:** Решить многошаговую задачу. - **Прайминг-структура:** План -> промежуточные выводы -> финальный ответ. - **Эффект:** Поведение становится более трассируемым и проверяемым. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Структурированные reasoning traces улучшают поведение на сложных reasoning-задачах: [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903). - Даже очень короткое структурное указание может менять результат: [Large Language Models are Zero-Shot Reasoners](https://arxiv.org/abs/2205.11916). - Многошаговая организация промежуточных веток решения полезна как inference-time scaffold: [Tree of Thoughts: Deliberate Problem Solving with Large Language Models](https://arxiv.org/abs/2305.10601). #### Косвенно подтверждается: - Любые структурные форматы вроде JSON, XML и таблиц полезны как способ снизить энтропию ответа и задать формат работы модели. #### Не подтверждено / требует аккуратности: - Что XML является научно лучшим форматом промптинга. - Что структура сама по себе повышает качество содержания без хорошей постановки задачи. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Структура полезна для LLM как ограничение пространства продолжения. Если запрос явно задает поля, шаги и тип выходных блоков, модель с меньшей вероятностью уходит в свободное продолжение. Поэтому структурный прайминг особенно полезен там, где форма ответа критична. --- ### 4. Практическая ценность - Структура должна подчиняться задаче, а не наоборот. - JSON хорош для машинной обработки. - Таблицы хороши для сравнения. - Пошаговые блоки полезны в reasoning-задачах, но только там, где они действительно нужны. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Предсказуемость ответа:** Меньше свободы, меньше шума. - **Удобство проверки:** Формат проще валидировать человеком и машиной. #### Минусы: - **Расход токенов:** Структура стоит места. - **Риск избыточности:** Слишком жесткий формат мешает там, где нужен свободный ответ. #### Опасности: - **Over-Formatting:** Модель тратит усилие на соблюдение формы вместо содержания. - **Schema Illusion:** Валидная форма может скрывать слабое содержание. --- ## Модуль 3. Когнитивный прайминг (Belief & Persona Alignment) ### Суть метода Когнитивный прайминг задает модели роль, цель, правила и критерии качества ответа. Это не добавляет новых знаний, но влияет на то, какой тип ответа модель считает более уместным. ### 1. Сферы применения и примеры #### Сфера: Педагогика - **Задача:** Объяснять материал не как решебник, а как тьютор. - **Когнитивный прайминг:** Роль преподавателя, запрет на мгновенный спойлер, требование задавать наводящие вопросы. - **Эффект:** Ответы чаще становятся обучающими, а не просто выдающими результат. #### Сфера: Risk Review и Red Team - **Задача:** Искать слабые места проекта. - **Когнитивный прайминг:** Роль скептического ревьюера с обязательной фиксацией рисков и assumptions. - **Эффект:** Модель чаще замечает уязвимости, которые в режиме "вежливого помощника" пропускает. #### Сфера: Policy-heavy агенты - **Задача:** Держать устойчивое поведение в чувствительных задачах. - **Когнитивный прайминг:** Набор правил, приоритетов и ограничений. - **Эффект:** Поведение становится последовательнее между запросами одного типа. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Роль и framing реально меняют поведение модели: [Role play with large language models](https://www.nature.com/articles/s41586-023-06647-8). - Явный набор правил может использоваться как механизм самокоррекции: [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073). #### Косвенно подтверждается: - Устойчивые role/policy блоки полезны как способ задавать критерии выбора ответа в агентных системах. #### Не подтверждено / требует аккуратности: - Что роль превращает модель в надежного эксперта в данной предметной области. - Что длинный persona-блок сам по себе повышает фактическую точность. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Роль и правила задают не знание, а режим продолжения: какой ответ выглядит для модели более уместным, допустимым и качественным. Поэтому сильная роль меняет угол анализа, глубину и тон, но не отменяет необходимость внешней проверки фактов. --- ### 4. Практическая ценность - Полезна не декоративная роль, а роль с явной целью и критерием качества. - Роль должна отвечать на вопросы: кто говорит, зачем, по каким правилам. - Чем ближе роль к реальному рабочему процессу, тем практичнее эффект. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Стабильность тона и угла анализа.** - **Лучшее соответствие задаче.** #### Минусы: - **Не добавляет знаний.** - **Слабая роль быстро превращается в театральность.** #### Опасности: - **Pseudo-Authority:** Модель звучит слишком уверенно. - **Role Lock-In:** Слишком жесткая роль ухудшает адаптацию к конкретному кейсу. --- ## Модуль 4. Рекурсивный прайминг (Self-Priming Loops) ### Суть метода Рекурсивный прайминг разбивает решение на промежуточные стадии: план, гипотезы, критика, тест-кейсы, финальная сборка. Это позволяет использовать inference-time compute не в одном прямом ответе, а в последовательности контролируемых шагов. ### 1. Сферы применения и примеры #### Сфера: Код и спецификации - **Задача:** Написать код по неидеальной постановке. - **Рекурсивный цикл:** Понять требования -> выписать edge cases -> предложить интерфейс -> написать реализацию. - **Эффект:** Финальный код лучше соответствует задаче. #### Сфера: Аналитика - **Задача:** Дать качественный разбор проблемы. - **Рекурсивный цикл:** Сначала гипотезы, потом риски, потом вывод. - **Эффект:** Ответ становится более собранным и проверяемым. #### Сфера: Планирование - **Задача:** Построить многошаговый план. - **Рекурсивный цикл:** Варианты -> оценка -> выбор -> финальный план. - **Эффект:** Меньше случайных скачков между идеями. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Полезность reasoning-стадий в сложных задачах: [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903). - Полезность нескольких reasoning paths и последующего выбора: [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://arxiv.org/abs/2203.11171). - Bootstrap reasoning traces: [STaR](https://arxiv.org/abs/2203.14465). - Многошаговый inference-time поиск: [Tree of Thoughts](https://arxiv.org/abs/2305.10601). #### Косвенно подтверждается: - Практики вроде plan -> critique -> final answer хорошо укладываются в общую scaffold-логику этой литературы. #### Не подтверждено / требует аккуратности: - Что любая дополнительная reasoning-стадия автоматически повышает качество. - Что длинные промежуточные размышления полезны сами по себе. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Рекурсивный прайминг создает для модели локальную рабочую траекторию: вместо одного скачка к ответу она строит промежуточные опоры, на которые потом сама же ориентируется. Поэтому качество часто растет, но только если промежуточные шаги короткие, релевантные и не уводят задачу в сторону. --- ### 4. Практическая ценность - Если задача сложная, лучше сначала построить рабочий черновик решения. - Промежуточные шаги должны быть короткими, проверяемыми и привязанными к цели. - Рекурсивный прайминг полезен как controlled scaffold, а не как бесконечный chain-of-thought ради chain-of-thought. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Глубже проработка сложных задач.** - **Лучше видны ошибки и assumptions.** #### Минусы: - **Высокая стоимость токенов и времени.** - **Избыточен для простых задач.** #### Опасности: - **Error Propagation:** Ошибка на раннем шаге заражает финал. - **Reasoning Bloat:** Много текста без прироста качества. --- ## Модуль 5. Негативный и Заместительный прайминг ### Суть метода Негативный прайминг задает анти-паттерны и запреты. Заместительный прайминг задает альтернативное целевое поведение: не только "чего не делать", но и "что делать вместо этого". На практике эти техники часто работают вместе. ### 1. Сферы применения и примеры #### Сфера: Строгий factual режим - **Проблема:** Модель додумывает то, чего нет в данных. - **Негативный прайминг:** Запрет на догадки и внешние знания. - **Заместительный прайминг:** Явное правило: если данных недостаточно, перечисли пробелы и остановись. #### Сфера: Клиентский сервис - **Проблема:** Ответ уходит в защитную или пассивно-агрессивную подачу. - **Негативный прайминг:** Запрет на обвинительный тон. - **Заместительный прайминг:** Требование к нейтральной, ясной и помогающей формулировке. #### Сфера: Код и style guide - **Проблема:** Модель повторяет устаревшие шаблоны. - **Негативный прайминг:** Явный список нежелательных паттернов. - **Заместительный прайминг:** Показ актуального эталонного стиля и допустимых конструкций. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Правила, критика и принципы могут управлять ответом: [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073). - Critique -> refine цикл способен улучшать качество ответа: [Self-Refine: Iterative Refinement with Self-Feedback](https://arxiv.org/abs/2303.17651). - Role-setting и framing влияют на поведение модели: [Role play with large language models](https://www.nature.com/articles/s41586-023-06647-8). #### Косвенно подтверждается: - Комбинация запрета и позитивной альтернативы логично опирается на литературу о critique, policy framing и iterative refinement. #### Не подтверждено / требует аккуратности: - Что позитивные ограничения универсально лучше негативных. - Что prompt-only negative/substitutive priming имеет такую же сильную базу, как CoT или order sensitivity. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Жесткий запрет задает границу, но не всегда задает траекторию. Заместительная инструкция полезна именно тем, что дает модели не только ограничение, но и предпочтительный путь продолжения. Поэтому на практике комбинация "не делай X, делай Y" часто работает стабильнее, чем одно только отрицание. --- ### 4. Практическая ценность - Жесткий запрет полезен там, где нужен guardrail. - Заместительная инструкция полезна там, где нужно не только ограничить, но и задать альтернативную траекторию. - Самая сильная комбинация на практике: запрет + позитивный шаблон поведения + пример. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Лучше задает границы поведения.** - **Полезен для high-stakes сценариев.** #### Минусы: - **Легко перегрузить инструкцию.** - **Слишком общие запреты работают слабо.** #### Опасности: - **Over-Cautiousness:** Модель становится избыточно осторожной. - **Instruction Clash:** Запреты и позитивные правила начинают конфликтовать. --- ## Модуль 6. Синтез: Протокольный прайминг ### Суть метода Протокольный прайминг объединяет несколько слоев управления поведением модели в единый каркас: роль, правила, формат, примеры, retrieval, промежуточные шаги, проверка. Это уже не один удачный prompt, а системный способ организовать работу модели. ### 1. Архитектура протокольного прайминга 1. **Слой роли и цели:** Кто говорит и какой тип результата нужен. 2. **Слой правил:** Ограничения, приоритеты, критерии качества. 3. **Слой формата:** Как выглядит вход и как должен выглядеть выход. 4. **Слой примеров:** Репрезентативные демонстрации поведения. 5. **Слой reasoning/retrieval:** Промежуточные шаги и внешние источники. ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Retrieval релевантных демонстраций полезен: [Learning to Retrieve Prompts for In-Context Learning](https://aclanthology.org/2022.naacl-main.191). - Выбор и ordering примеров можно оптимизировать: [Self-Adaptive In-Context Learning](https://aclanthology.org/2023.acl-long.79). - Многошаговый inference-time scaffold полезен: [Tree of Thoughts](https://arxiv.org/abs/2305.10601). - Retrieval-контекст является сильным production-паттерном: [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401). #### Косвенно подтверждается: - Идея многослойного протокола логично вытекает из литературы по retrieval, example selection, reasoning scaffolds и role framing. #### Не подтверждено / требует аккуратности: - Что существует один универсальный протокол, лучший для всех моделей и всех задач. - Что XML, JSON или любой другой формат является научным стандартом протокольного прайминга. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Протокольный прайминг полезен потому, что он разделяет источники сигнала: роль, правила, примеры, retrieval и reasoning не смешиваются в один хаотичный блок. Для модели это уменьшает конкуренцию между разными типами инструкций и делает локальный контекст более управляемым. --- ### 4. Практическая ценность - Один большой prompt хуже поддерживается, чем модульный протокол. - Протокол должен разделять постоянные правила, контекст задачи, примеры и внешние источники. - Хорошая протокольная схема повышает повторяемость, проверяемость и переносимость между сценариями. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Управляемость:** Поведение модели легче контролировать. - **Масштабируемость:** Компоненты можно переиспользовать. - **Повторяемость:** Меньше случайности между похожими задачами. #### Минусы: - **Сложность проектирования:** Хороший протокол требует дисциплины. - **Дороже отлаживать:** Ошибка может жить на любом слое. #### Опасности: - **Over-Engineering:** Протокол становится тяжелее самой задачи. - **Protocol Drift:** Со временем слои начинают конфликтовать. - **False Stability:** Структура выглядит надежной, но сама логика может быть слабой.