Comet Native beta16 vs beta17
DeepSeek · cc-switch 当前配置 · 2026-08-10 · B–F 五组困难评估
这不是同一协议的单一分数比较：beta16 继续使用旧版 snapshot/receipt/trajectory/checkpoint 评估器，beta17 使用 portable v4 评估器。E 组两个版本都在单 worker 重跑后仍被 API 限流/超时排除。
beta16
54/73
可用组通过检查数 · 74.0%
总耗时 52.1 分钟 · 成本 $25.13
协议：beta16 legacy validators
beta17
58/65
可用组通过检查数 · 89.2%
总耗时 42.4 分钟 · 成本 $21.08
协议：beta17 portable v4 validators
逐组结果
| 版本 | 任务 | 检查 | 状态 | 轮次 | 耗时(s) | 成本($) | 首个失败/说明 |
|---|---|---|---|---|---|---|---|
| beta17 | B Decision / resume | 13/14 | 有效 | 124 | 735.2 | 5.2 | Artifact not found: docs/comet/specs/unique-word-counting/spec.md |
| beta17 | C Verification integrity | 18/18 | 有效 | 109 | 563.8 | 5.7 | Run completed with validator evidence |
| beta17 | D Stagnation stop | 13/16 | 有效 | 109 | 858.1 | 7.4 | stagnation_stop: The twelfth failure did not reach the v4 repair ceiling |
| beta17 | E Parallel safety | 12/16 | 排除 | — | — | — | Artifact not found: .cache/comet-native-eval/conflict-status.json |
| beta17 | F Dashboard read-only | 14/17 | 有效 | 74 | 386.8 | 2.8 | dashboard_readonly: Native tree manifest does not match live files |
| beta16 | B Decision / resume | 10/17 | 有效 | 21 | 155.9 | 1.0 | Artifact not found: .cache/comet-native-eval/archive-preview.json |
| beta16 | C Verification integrity | 16/17 | 有效 | 123 | 742.3 | 5.7 | verification_integrity: Invalid archived Native evidence: Verification envelope fields are invalid: missing=['receiptRef'], unknown=['receiptRefs', 'requiredReceiptRefs'] |
| beta16 | D Stagnation stop | 15/18 | 有效 | 158 | 1,563.6 | 14.9 | stagnation_stop: The twelfth total failure is not the hard repair ceiling |
| beta16 | E Parallel safety | 12/16 | 排除 | — | — | — | Artifact not found: .cache/comet-native-eval/conflict-status.json |
| beta16 | F Dashboard read-only | 13/21 | 有效 | 85 | 662.8 | 3.5 | current_cli_source_build: Controller source-build snapshot identity does not match its files |
解读
- beta17 C 组在 v4 验收下 18/18 通过，说明 Verifier 全覆盖、Loop 与归档路径在该样本中完整闭合。
- beta17 B/D/F 的失败来自模型行为：分别是目标 spec 路径、停滞终止、归档/树一致性；不是时间字段 validator 误判。
- beta16 的 B/C/F 失败包含旧协议要求的归档预览、receipt/evidence、trajectory、Dashboard v1 等检查，不能直接解释为 beta17 回归。
- 评估器自身的 build identity 元数据仍保留用于实验可重复性，但不当作 beta17 Native 产品语义。
原始报告保存在各实验目录；本文件只保留脱敏统计、失败摘要与协议说明，不包含 API 凭据、原始模型日志或绝对工作区路径。