# In-Context Learning (ICL) ## Модуль 1. Природа ICL: От Few-Shot к Many-Shot - **Суть:** Как модель адаптирует поведение по примерам в контексте без изменения весов. Разница между few-shot и many-shot режимом. - **Ресерч:** [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165), [Many-Shot In-Context Learning](https://arxiv.org/abs/2404.11018), [Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers](https://aclanthology.org/2023.findings-acl.247), [Transformers learn to implement preconditioned gradient descent for in-context learning](https://arxiv.org/abs/2306.00297). ## Модуль 2. Архитектура примера (Example Design) - **Суть:** Что делает пример сильным: релевантность, формат, полнота входа, репрезентативность и наличие промежуточных шагов там, где они действительно нужны. - **Ресерч:** [What Makes Good In-Context Examples for GPT-3?](https://aclanthology.org/2022.deelio-1.10), [Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?](https://aclanthology.org/2022.emnlp-main.759), [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903), [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://arxiv.org/abs/2203.11171). ## Модуль 3. Проблема порядка и смещения (Ordering & Bias) - **Суть:** Почему один и тот же набор примеров может работать по-разному при разном порядке, и как длинный контекст меняет использование информации. - **Ресерч:** [Fantastically Ordered Prompts and Where to Find Them](https://aclanthology.org/2022.acl-long.556), [What Makes a Good Order of Examples in In-Context Learning](https://aclanthology.org/2024.findings-acl.884), [Calibrate Before Use: Improving Few-Shot Performance of Language Models](https://proceedings.mlr.press/v139/zhao21c.html), [Lost in the Middle: How Language Models Use Long Contexts](https://arxiv.org/abs/2307.03172). ## Модуль 4. Синтетический ICL (Self-Generated Examples) - **Суть:** Как использовать самогенерацию подзадач, тест-кейсов, аналогий и промежуточных reasoning traces перед финальным ответом. - **Ресерч:** [STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning](https://arxiv.org/abs/2203.14465), [Self-Instruct: Aligning Language Models with Self-Generated Instructions](https://aclanthology.org/2023.acl-long.754), [Tree of Thoughts: Deliberate Problem Solving with Large Language Models](https://arxiv.org/abs/2305.10601). ## Модуль 5. Отрицательный ICL (Negative Counter-Examples) - **Суть:** Использование плохих и хороших примеров для задания границ качества, безопасности и допустимого формата ответа. - **Ресерч:** Прямая литература по plain-text negative exemplars уже, чем по CoT и ordering; для практики полезны смежные работы: [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073), [Self-Refine: Iterative Refinement with Self-Feedback](https://arxiv.org/abs/2303.17651). ## Модуль 6. Интеграция в AI-Protocol: XML-библиотеки шотов и retrieval - **Суть:** Как хранить, индексировать, выбирать и переиспользовать примеры через библиотеки артефактов, retrieval и протоколы подачи контекста. - **Ресерч:** [Learning to Retrieve Prompts for In-Context Learning](https://aclanthology.org/2022.naacl-main.191), [Self-Adaptive In-Context Learning](https://aclanthology.org/2023.acl-long.79), [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401). --- ### Общая картина In-Context Learning — это режим работы LLM, в котором поведение модели смещается за счет содержимого текущего запроса: инструкций, примеров, контекста и формата. Базовая точка отсчета здесь — GPT-3, где few-shot prompting был показан как общий механизм адаптации без fine-tuning: [Brown et al., 2020](https://arxiv.org/abs/2005.14165). Позднее many-shot режим получил отдельное сильное эмпирическое подтверждение: на ряде задач качество продолжает расти и после десятков примеров, а не только в диапазоне 1-8 шотов: [Many-Shot In-Context Learning](https://arxiv.org/abs/2404.11018). При этом ICL не следует трактовать как полную замену fine-tuning. Это один из способов адаптации модели, особенно полезный там, где важны скорость итерации, прозрачность и возможность быстро менять поведение без переобучения. --- # Модуль 1. Природа ICL: От Few-Shot к Many-Shot ### Суть метода Few-shot ICL подает модели несколько демонстраций формата или поведения. Many-shot ICL расширяет этот режим до десятков, сотен и более примеров. В таком режиме модель сильнее подстраивается под локальную статистику текущего контекста, а не только под общий prior, сформированный предобучением. ### 1. Сферы применения и примеры #### Сфера: Классификация по внутренним корпоративным правилам - **Задача:** Разметка тикетов, писем или заявок по внутренней таксономии компании. - **ICL-прайминг:** Подача размеченных примеров по каждой категории. - **Эффект:** Модель лучше схватывает локальные критерии, которые трудно описать одной инструкцией. #### Сфера: Трансформация текста в заданный формат - **Задача:** Привести вход к корпоративному шаблону отчета, карточки кейса или JSON-структуры. - **ICL-прайминг:** Подача набора входов и целевых выходов в одном формате. - **Эффект:** Модель подстраивается под тип ответа, глубину и структуру. #### Сфера: Узкодоменная редактура - **Задача:** Переписывать текст в жанре legal review, risk memo, incident report. - **ICL-прайминг:** Подача репрезентативных образцов именно этого жанра. - **Эффект:** Модель сильнее ориентируется на локальный паттерн задачи, чем на усредненный интернет-стиль. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - LLM действительно могут адаптироваться по демонстрациям прямо в промпте: [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165). - На длинном контексте полезность демонстраций сохраняется и в many-shot режиме: [Many-Shot In-Context Learning](https://arxiv.org/abs/2404.11018). #### Косвенно подтверждается: - ICL можно интерпретировать как форму внутренней оптимизации или мета-обучения: [Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers](https://aclanthology.org/2023.findings-acl.247), [Transformers learn to implement preconditioned gradient descent for in-context learning](https://arxiv.org/abs/2306.00297). #### Не подтверждено / требует аккуратности: - Что many-shot ICL в общем случае заменяет fine-tuning. - Что ICL уже окончательно объяснен как один конкретный внутренний алгоритм для всех моделей и всех задач. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. С точки зрения поведения LLM few-shot действует как локальная калибровка: модель получает несколько опорных точек и подстраивает вероятности продолжения в сторону увиденного формата. Many-shot усиливает этот эффект: локальный контекст начинает сильнее конкурировать с более общими паттернами, усвоенными при предобучении. Именно поэтому many-shot часто полезен для задач со сложными локальными правилами, но одновременно становится хрупким к шуму и противоречивым примерам. --- ### 4. Практическая ценность - Few-shot полезен, когда нужно быстро задать формат и базовое поведение. - Many-shot полезен, когда задача сильно зависит от локальных примеров и не укладывается в короткую инструкцию. - Рост числа примеров полезен только до тех пор, пока сами примеры релевантны, непротиворечивы и не перегружают контекст. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Мгновенная адаптация:** Не требуется отдельное дообучение. - **Прозрачность:** Видно, на каких примерах строится текущее поведение. - **Гибкость:** Поведение можно менять на уровне запроса. #### Минусы: - **Стоимость токенов:** Большие библиотеки примеров дороги. - **Латентность:** Длинный префикс замедляет обработку. - **Хрупкость к шуму:** Противоречивые шоты быстро портят результат. #### Опасности: - **Label Noise:** Ошибочные примеры закрепляют неверное правило. - **Overfitting to Context:** Модель может слишком сильно подстроиться под локальный стиль в ущерб задаче. - **Context Budget Collapse:** Полезность many-shot исчезает, если контекст заполнен слабым или дублирующим материалом. --- ## Модуль 2. Архитектура примера (Example Design) ### Суть метода Качество ICL зависит не только от числа примеров, но и от того, как именно они устроены. Сильный пример должен быть репрезентативным, достаточно полным и совпадать с реальным распределением входов и выходов. ### 1. Сферы применения и техники дизайна #### Техника 1: Input -> Output - **Дизайн:** Короткий вход и целевой ответ без промежуточных шагов. - **Сфера:** Извлечение полей, нормализация, форматирование, простая классификация. - **Эффект:** Минимальный шум и минимальный расход токенов. #### Техника 2: Input -> Reasoning -> Answer - **Дизайн:** Вход, затем краткий ход решения, затем финальный ответ. - **Сфера:** Математика, логика, отладка, аналитические задачи. - **Эффект:** На сложных задачах модель чаще воспроизводит не только ответ, но и способ получения ответа. #### Техника 3: Хороший/плохой формат - **Дизайн:** Валидный и невалидный образец с пояснением различия. - **Сфера:** JSON, code review, style guide, безопасный код. - **Эффект:** Пример задает границу допустимого поведения, а не только целевую точку. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Качество демонстраций существенно влияет на качество ICL: [What Makes Good In-Context Examples for GPT-3?](https://aclanthology.org/2022.deelio-1.10). - Свойства примеров важны не меньше, чем простая пара вход-выход: [Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?](https://aclanthology.org/2022.emnlp-main.759). - Для reasoning-задач полезны примеры с промежуточными шагами: [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903), [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://arxiv.org/abs/2203.11171). #### Косвенно подтверждается: - Хороший пример задает не только ответ, но и локальную процедуру решения. Это следует из reasoning-литературы, но не сводится к одному универсальному механизму. #### Не подтверждено / требует аккуратности: - Что CoT является лучшим дизайном примера для любой задачи. - Что любой подробный reasoning-образец автоматически улучшает результат. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Хороший пример задает LLM локальную геометрию задачи: что считать входом, что считать существенным сигналом, какой тип ответа является допустимым. Если пример содержит reasoning, модель часто начинает продолжать не только результат, но и траекторию вывода. Если reasoning слабый или нерелевантный, модель так же послушно унаследует и эту слабость. --- ### 4. Практическая ценность - Для простой задачи лучше короткий и чистый пример без лишнего reasoning. - Для сложной задачи имеет смысл тестировать CoT-демонстрации. - Примеры должны быть репрезентативными, а не декоративными. - Один качественный пример часто полезнее трех красивых, но нерелевантных. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Точность формата:** Пример быстрее задает нужный шаблон ответа. - **Снижение неоднозначности:** Меньше пространства для свободной трактовки. - **Перенос процедуры:** В reasoning-задачах пример может переносить не только ответ, но и метод. #### Минусы: - **Хрупкость к плохим примерам:** Ошибка в демонстрации масштабируется. - **Token Overhead:** Подробные примеры быстро съедают контекст. #### Опасности: - **Template Copying:** Модель копирует форму даже там, где она уже мешает. - **Reasoning Drift:** Слабое reasoning в примере задает слабую траекторию решения. - **Distribution Mismatch:** Примеры слишком далеки от реальных входов. --- ## Модуль 3. Проблема порядка и смещения (Ordering & Bias) ### Суть метода ICL чувствителен не только к составу набора примеров, но и к их порядку. При длинном контексте дополнительно появляются позиционные эффекты: начало и конец окна часто обрабатываются лучше, чем середина. ### 1. Сферы применения и стратегии борьбы #### Сфера: Классификация и label-heavy задачи - **Проблема:** Несбалансированный хвост примеров смещает модель к одной категории. - **Стратегия:** Балансировать категории ближе к финальным позициям и тестировать несколько порядков. #### Сфера: Длинные retrieval-контексты - **Проблема:** Критичная информация оказывается в середине большого блока и используется хуже. - **Стратегия:** Повторять ключевые условия ближе к месту применения и избегать перегруженной середины. #### Сфера: Многошаговое reasoning - **Проблема:** Последний reasoning-пример задает неподходящую траекторию для следующей задачи. - **Стратегия:** Упорядочивать примеры от простого к сложному или по типу подзадачи. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Few-shot ICL чувствителен к порядку примеров: [Fantastically Ordered Prompts and Where to Find Them](https://aclanthology.org/2022.acl-long.556). - Свойства удачного порядка можно исследовать отдельно: [What Makes a Good Order of Examples in In-Context Learning](https://aclanthology.org/2024.findings-acl.884). - Label bias и калибровка few-shot режима подтверждены: [Calibrate Before Use: Improving Few-Shot Performance of Language Models](https://proceedings.mlr.press/v139/zhao21c.html). - Позиционные эффекты в длинном контексте подтверждены: [Lost in the Middle: How Language Models Use Long Contexts](https://arxiv.org/abs/2307.03172). #### Косвенно подтверждается: - Практики вроде curriculum ordering и balanced shuffling логично следуют из литературы по order sensitivity, хотя конкретные схемы зависят от задачи и модели. #### Не подтверждено / требует аккуратности: - Что последний пример всегда важнее всех остальных. - Что существует универсальный оптимальный порядок примеров. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. LLM не читает длинный контекст как одинаково ровное поле. Последние и первые участки часто оказываются более "активными" для генерации, а середина длинного блока — менее заметной. Поэтому порядок примеров выглядит не как вопрос косметики, а как вопрос распределения внимания внутри окна. --- ### 4. Практическая ценность - Один и тот же набор шотов нужно тестировать в нескольких порядках. - В длинных пайплайнах важны не только релевантность документов, но и их позиция в окне. - Порядок примеров — это параметр оптимизации, а не декоративная деталь. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Бесплатная оптимизация:** Иногда перестановка примеров улучшает результат без новых данных. - **Локальное управление поведением:** Порядком можно менять акцент модели. #### Минусы: - **Нестабильность:** Один порядок может быть удачным для одной модели и слабым для другой. - **Трудоемкость:** Оптимальный порядок часто приходится искать экспериментально. #### Опасности: - **Recency Bias:** Последние примеры перевешивают более важные ранние правила. - **Majority Label Bias:** Дисбаланс примеров смещает ответ. - **Middle Neglect:** Ключевые условия в середине используются хуже. --- ## Модуль 4. Синтетический ICL (Self-Generated Examples) ### Суть метода Синтетический ICL использует промежуточную самогенерацию: модель сначала строит подзадачи, аналогии, тест-кейсы или черновые шаги решения, а затем использует этот материал как дополнительный локальный контекст. ### 1. Сферы применения и примеры #### Сфера: Математика и логика - **Задача:** Решить сложную задачу, требующую нескольких переходов. - **Синтетический цикл:** Сначала выписать более простые подзадачи или промежуточные шаги. - **Эффект:** Модель снижает вероятность одного крупного ошибочного прыжка. #### Сфера: Код и edge cases - **Задача:** Сгенерировать функцию с учетом граничных случаев. - **Синтетический цикл:** Сначала выписать тест-кейсы и ожидаемое поведение. - **Эффект:** Финальный код чаще учитывает границы задачи. #### Сфера: Аналитика и планирование - **Задача:** Подготовить структурированный разбор решения. - **Синтетический цикл:** Сначала план, затем критерии, затем финальный вывод. - **Эффект:** Ответ становится более управляемым и проверяемым. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Bootstrap-механика самогенерируемых reasoning traces: [STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning](https://arxiv.org/abs/2203.14465). - Самогенерация инструкций и задач как полезный способ улучшения instruction-following: [Self-Instruct: Aligning Language Models with Self-Generated Instructions](https://aclanthology.org/2023.acl-long.754). - Полезность промежуточных веток рассуждения на inference time: [Tree of Thoughts: Deliberate Problem Solving with Large Language Models](https://arxiv.org/abs/2305.10601). #### Косвенно подтверждается: - Самогенерация аналогий и тест-кейсов для инженерных задач логично следует из общей scaffold-логики этих работ. #### Не подтверждено / требует аккуратности: - Что самогенерируемые примеры универсально надежнее внешних примеров. - Что любая аналогия или self-generated scaffold обязательно улучшает ответ. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Когда модель сначала генерирует промежуточные опоры, она создает сама для себя локальный набор ориентиров внутри контекста. После этого финальный ответ уже строится не на пустом месте, а на ранее сформированной внутренней траектории. Поэтому синтетический ICL часто помогает, но только если промежуточный материал сам по себе качественный. --- ### 4. Практическая ценность - Техника особенно полезна там, где задача плохо решается одним прямым ответом. - Самогенерация должна быть короткой, контролируемой и привязанной к цели задачи. - Синтетический контекст полезен только тогда, когда его потом можно проверить или использовать как опору. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Глубже прорабатывает задачу:** Модель строит опоры до финального ответа. - **Помогает увидеть edge cases:** Особенно в коде и аналитике. - **Повышает проверяемость:** У ответа появляются промежуточные артефакты. #### Минусы: - **Высокая стоимость:** Растут токены и время. - **Не всегда нужен:** Для простых задач только мешает. #### Опасности: - **Self-Reinforced Error:** Ошибка в промежуточном шаге переходит в финал. - **Echo Chamber:** Модель зацикливается на собственном промежуточном допущении. --- ## Модуль 5. Отрицательный ICL (Negative Counter-Examples) ### Суть метода Отрицательный ICL показывает не только целевой образец, но и нарушение правила: плохой пример, причину ошибки и корректный вариант. Это задает границы допустимого поведения заметно лучше, чем один только позитивный образец. ### 1. Сферы применения и примеры #### Сфера: Безопасный код - **Задача:** Снизить вероятность небезопасных SQL и shell-patterns. - **Контрастный шот:** Уязвимый пример, краткая критика, безопасный вариант. - **Эффект:** Модель лучше различает паттерны, которые нужно избегать. #### Сфера: Строгий формат вывода - **Задача:** Выдавать только валидный JSON или schema-constrained output. - **Контрастный шот:** Сломанный пример и валидный пример. - **Эффект:** Повышается чувствительность к границам допустимого формата. #### Сфера: Стиль и редактура - **Задача:** Избегать штампов, канцелярита или AI-клише. - **Контрастный шот:** Штампованный абзац и улучшенный вариант с пояснением различия. - **Эффект:** Граница между слабым и сильным стилем становится явной. --- ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Критика и последующая правка ответа работают как управляемый механизм выравнивания: [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073), [Self-Refine: Iterative Refinement with Self-Feedback](https://arxiv.org/abs/2303.17651). #### Косвенно подтверждается: - Контрастная подача плохого и хорошего образца логично опирается на critique/refinement литературу и практику schema/style enforcement. #### Не подтверждено / требует аккуратности: - Для plain-text negative exemplars нет такой же широкой и устойчивой экспериментальной базы, как для CoT или ordering. - Нельзя утверждать, что negative examples универсально лучший способ обучить модель границам поведения. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Отрицательные примеры работают как явные маркеры нежелательной траектории. Если плохой пример размечен четко, а рядом дан хороший вариант, модель получает не только целевой шаблон, но и локальную границу: что считается ошибкой и почему. Если разметка слабая, эффект легко становится обратным, и модель начинает копировать именно ошибку. --- ### 4. Практическая ценность - Контрастные пары полезнее всего там, где ошибка легко локализуется и формализуется. - Плохой пример должен быть однозначно помечен как плохой. - Нельзя перегружать контекст множеством негативных образцов: это смещает модель в сторону чрезмерной осторожности. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Четкая граница допустимого:** Особенно полезно для качества и безопасности. - **Обучение на ошибках:** Подходит для повторяющихся сбоев поведения. #### Минусы: - **Token Overhead:** Нужны минимум два образца вместо одного. - **Риск путаницы:** Плохой пример должен быть размечен без двусмысленности. #### Опасности: - **Over-Correction:** Модель начинает избегать и допустимых вариантов. - **Negative Dominance:** Слишком много плохих образцов ухудшают уверенность модели. --- ## Модуль 6. Интеграция в AI-Protocol: XML-библиотеки шотов и retrieval ### Суть метода В production-системах примеры обычно живут не внутри одного длинного монолитного промпта, а в виде библиотеки артефактов: индекс, теги, retrieval, правила отбора и ограниченный набор наиболее релевантных демонстраций на конкретный запрос. ### 1. Архитектура библиотеки артефактов (Artifact Library) 1. **Индекс артефактов:** Список примеров, их тегов и условий применения. 2. **Тело артефактов:** Сами демонстрации, разбитые по типам задач. 3. **Логика отбора:** Механизм, который решает, какие примеры подставлять в текущий контекст. ### 2. Научное подтверждение и Fact-Checking #### Прямо подтверждается: - Retrieval релевантных демонстраций полезен как отдельный механизм: [Learning to Retrieve Prompts for In-Context Learning](https://aclanthology.org/2022.naacl-main.191). - Выбор и ordering примеров можно оптимизировать автоматически: [Self-Adaptive In-Context Learning](https://aclanthology.org/2023.acl-long.79). - Retrieval-контекст является центральным элементом knowledge-intensive пайплайнов: [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401). #### Косвенно подтверждается: - Идея библиотек шотов и их индексирования хорошо соответствует литературе по retrieval, example selection и long-context optimization. #### Не подтверждено / требует аккуратности: - Что XML является универсальным научным стандартом для ICL. - Что один конкретный формат упаковки библиотеки лучше для всех моделей и всех задач. --- ### 3. Эвристическая интерпретация LLM Это не научное доказательство, а рабочая модель интерпретации. Библиотека шотов полезна не сама по себе, а как способ подать в окно только те примеры, которые действительно нужны текущей задаче. Для модели разница между хаотичной кучей примеров и компактным отобранным набором часто эквивалентна разнице между слабым и сильным локальным контекстом. --- ### 4. Практическая ценность - Лучше подавать меньше, но более релевантных примеров. - Библиотеку шотов нужно индексировать по типу задачи, а не хранить как один длинный набор. - Retrieval и ICL работают лучше вместе, чем по отдельности в сложных production-сценариях. --- ### 5. Плюсы, Минусы и Опасности #### Плюсы: - **Масштабируемость:** Примеры можно переиспользовать между задачами. - **Управляемость:** Отбор шотов становится контролируемым. - **Экономия контекста:** В окно попадает только нужное. #### Минусы: - **Сложность инфраструктуры:** Нужны индекс, retrieval и правила отбора. - **Новая зона ошибок:** Плохой retrieval портит хороший ICL. #### Опасности: - **Wrong Retrieval:** В окно попадают нерелевантные или конфликтующие примеры. - **Stale Library:** Библиотека артефактов устаревает быстрее, чем кажется. - **Format Over-Engineering:** Избыточная разметка увеличивает стоимость без прироста качества.