# Lesson 23.3: 实战案例——HelixVerify 的 114 次自举迭代

## 本课目标

- 理解 Agent 的自举 (Bootstrapping) 过程
- 掌握构建 AI 自主迭代闭环的 5 个核心模块
- 了解混合验证引擎 (Rule + LLM) 的优势互补设计
- 理解 TP 对抗验证与阶梯式验证在长程迭代中的价值
- 掌握 Loop 基础设施 (Ralph-Loop/Supervisor) 的运作原理

> **案例背景**：HelixVerify 是一个 Agent 产出质量验证系统。在 114 次迭代中，项目负责人没有手写一行代码，而是通过构建 Harness 环境，指导 AI 从 8% 的召回率逐步迭代至 98.86%。

## 核心内容

### 自举 (Bootstrapping)：让 AI 编写"让自己进化"的代码

HelixVerify 的核心启示是：**工程师的角色从"编写功能代码"转向"设计反馈回路"**。

整个过程是一个自举：
1. 人类指导 AI 搭建端到端测试 → AI 有了"看"的能力。
2. 人类指导 AI 搭建评测工具 → AI 有了"量"的能力。
3. 闭环合拢后，AI 开始 7×24 小时自主运行：诊断 → 策略 → 实施 → 验证。

### 模块一：端到端测试 (E2E) —— 让 AI "看懂"系统

AI 只能改代码，如果看不懂系统内部发生了什么，就像蒙着眼睛 Debug。
- **模拟人类分析 Case**：让 AI 像人类工程师一样发请求、看日志。
- **追踪推理链路 (Trace)**：让 AI 理解 LLM 的思考过程，而不只是看最终结果。

### 模块二：标准化评测 (verify_bench) —— 给 AI 一把尺子

没有统一的量化指标，AI 无法判断改动是"进步"还是"退步"。
- **metric.txt**：结构化指标（TP/FP/FN/Recall），AI 用来判断好坏。
- **detail.txt**：逐条对比明细，AI 用来聚类分析 Badcase。

### 模块三：Badcase 自动诊断 —— 消除人的瓶颈

如果每轮迭代都需要人来告诉 AI 哪里错了，人就成了迭代的瓶颈。
- **数据驱动诊断**：AI 自动读取评测输出，分析误报/漏报的共同特征。
- **候选策略排序**：AI 根据诊断结果，自主生成多种优化策略并按预估收益排序。

### 模块四：TP 对抗验证 —— 确保改动安全

AI 在优化一个指标时，往往会破坏另一个指标（"按下葫芦起了瓢"）。
- **对抗原则**：任何过滤规则上线前，必须通过 TP (True Positive) 对抗集，确保不会误杀正确样本。
- **效果**：实现该机制后，HelixVerify 后续 30 次迭代无一次召回率下降。

### 模块五：阶梯式验证 —— 降低试错成本

全量评测耗时长（如 60 分钟），如果每次都跑全量，效率极低。
- **阶梯设计**：从小样本到大样本逐层验证。
- **快速失败**：90% 的低级错误在 3 分钟的小样本验证中就能暴露，节省巨大时间成本。

### Loop 基础设施：7×24 持续运行

- **Ralph-Loop**：借助 Stop Hook，强制 AI 在停下时反思任务是否完成，没完成就保存状态、重启进程继续跑。
- **Supervisor (主管代理)**：扮演人类角色进行 Review，判断 AI 是否陷入"无效循环"，并在关键决策点给予指导。

---

## 🛠️ 实操练习

### 练习 1：识别你的反馈缺失

回顾你当前的一个 AI 项目，如果想实现"全自动迭代"，目前卡在哪个环节？
- [ ] AI 看不懂运行日志？（缺失 E2E）
- [ ] AI 不知道准确率是多少？（缺失 Bench）
- [ ] AI 优化了 A 却搞坏了 B？（缺失对抗验证）

## 相关概念

- **Eval-Driven Development (EDD)**（Lesson 22.1）— HelixVerify 是 EDD 的大规模实战案例
- **TDD Workflow**（Lesson 22）— HelixVerify 的 verify_bench 是 TDD 思想在 Agent 验证中的延伸
- **Harness Engineering**（Lesson 23.1）— 自举迭代依赖 Harness 闭环

---

## 下一步

请调用 `AskUserQuestion` 展示以下选项，让学习者点击选择；从每条中提炼 1-5 个词作为 label，其余写入 description，不要要求输入数字：

- 继续 Lesson 23.4：架构演进——解耦大脑、双手与会话
- 返回 Lesson 23.2：Harness 实操
- 返回主菜单

---
*阶段 4 | Lesson 23.3/26 | 上一课: Lesson 23.2 - Harness 实操 | 下一课: Lesson 23.4 - 架构演进*