Some checks failed
CI / test (push) Failing after 39s
对比报告可比性收紧为同场景同考纲版本(ADR-0001):跨版本 API 返回 400 (detail 含双方版本号),报告生成层抛 ValueError;前端对比候选按 同场景 + 同版本过滤,A 变更后自动清空不可比的 B。文档"尚未实现"标注移除。
1.0 KiB
1.0 KiB
场景版本化:对比报告的可比性以场景版本为准
场景可编辑,导致同一 scenario_id 的两次运行可能基于不同"考纲"(用例集、规则、模型绑定),v0.4 的"同场景即可对比"约束不够严格。决定引入场景版本:仅考纲字段(cases / model_bindings / llm_config)变更时递增版本号,名称、描述、标签等元数据编辑不升版;对比报告要求同场景且同版本才严格可比。
Considered Options
- 任何编辑都升版 — 被否:改描述错字也会断开可比性,过于粗暴
- Run 快照考纲指纹比对(无版本号字段)— 被否:无显式版本号,用户无法在 UI 上直观选择"同一版"的运行
- 交集对齐 + 单边标注 — 被否:掩盖考纲漂移,对比结论可信度存疑
Consequences
- 数据模型已加 scenario version 字段,Run 创建时快照所用版本(v0.5 已实现)
- 动态用例每次运行题目不同不影响可比性——可比性单位是"同考纲"(同场景同版本),不是"同考卷"