AgentEvalTool/.scratch/v0.5/issues/02-connectivity-case-annotation.md
sinohqb 8a526599ab feat(report): annotate connectivity cases and add judged pass rate (ticket 02)
报告层推导连通用例标记(无判定结果 + 每轮有回复 + 无用例级错误),
summary 新增 connectivity_cases 与 judged_pass_rate(无判定型用例时为 null)。
对比报告同步标注且连通用例按引擎口径计通过;总通过率口径不变(ADR-0002)。
2026-07-29 10:32:56 +08:00

1013 B
Raw Blame History

02 — 连通用例报告标注

What to build: 质量负责人打开单次或对比报告时能一眼分辨哪些用例是连通用例无任何规则与期望、收到回复即通过报告中的用例条目携带连通标记summary 新增连通用例数与"判定型通过率"(判定型通过数 ÷ 判定型总数参考指标。总通过率口径不变——分母不剔除连通用例与执行失败ADR-0002 硬约束)。连通与否由报告生成层从"该用例无任何判定结果且无轮次错误"推导,不新增存储字段。

Blocked by: None — can start immediately.

Status: done

  • 单次报告中连通用例带明确标记,前端可见
  • 对比报告中连通用例同样标注
  • summary 含连通用例数与判定型通过率;全为连通用例时判定型通过率不除零
  • 总通过率数值与升级前一致(口径未变)
  • 报告单元测试覆盖标注与判定型通过率计算(先例:现有报告测试)