AgentEvalTool/docs/adr/0001-scenario-versioning-for-comparability.md
sinohqb 770d260750
Some checks failed
CI / test (push) Failing after 39s
feat(report): compare requires same scenario version (ticket 05)
对比报告可比性收紧为同场景同考纲版本(ADR-0001):跨版本 API 返回 400
(detail 含双方版本号),报告生成层抛 ValueError;前端对比候选按
同场景 + 同版本过滤,A 变更后自动清空不可比的 B。文档"尚未实现"标注移除。
2026-07-29 11:21:52 +08:00

1.0 KiB
Raw Blame History

场景版本化:对比报告的可比性以场景版本为准

场景可编辑,导致同一 scenario_id 的两次运行可能基于不同"考纲"用例集、规则、模型绑定v0.4 的"同场景即可对比"约束不够严格。决定引入场景版本仅考纲字段cases / model_bindings / llm_config变更时递增版本号名称、描述、标签等元数据编辑不升版对比报告要求同场景且同版本才严格可比。

Considered Options

  • 任何编辑都升版 — 被否:改描述错字也会断开可比性,过于粗暴
  • Run 快照考纲指纹比对(无版本号字段)— 被否:无显式版本号,用户无法在 UI 上直观选择"同一版"的运行
  • 交集对齐 + 单边标注 — 被否:掩盖考纲漂移,对比结论可信度存疑

Consequences

  • 数据模型已加 scenario version 字段Run 创建时快照所用版本v0.5 已实现)
  • 动态用例每次运行题目不同不影响可比性——可比性单位是"同考纲"(同场景同版本),不是"同考卷"