AgentEvalTool/.scratch/v0.5/issues/01-expectation-rule-additive.md
sinohqb 2dcf415940
Some checks failed
CI / test (push) Failing after 53s
docs(v0.5): add spec and tracer-bullet tickets for judgement semantics & scenario versioning
范围:期望与规则叠加生效、连通用例报告标注、场景版本化(ADR-0001/0002 约束)。
工单 01-05 按依赖序编号,01/02/03 可并行,03→04→05 线性链。
2026-07-29 10:16:37 +08:00

1.1 KiB
Raw Blame History

01 — 期望与规则叠加生效

What to build: 用例同时配置期望(关键词/时延上限与显式评估规则时两者都参与判定期望始终派生为隐式判定并追加执行任一不满足则用例不通过。期望派生的判定结果与显式规则结果同构落库reason 标明来源为期望),前端结果列表无需特殊处理即可看到。rule_logicall/any/weighted只组合显式规则隐式期望判定是叠加其上的硬约束。只写期望不写规则的存量用例行为保持不变。

Blocked by: None — can start immediately.

Status: ready-for-agent

  • 同时配置期望与规则的用例,期望不满足时用例不通过(即使显式规则全部通过)
  • 期望派生判定以 EvalResult 形式存储reason 可辨识来源为期望
  • rule_logic=any/weighted 时,隐式期望判定不参与组合计算,仍作为独立硬约束
  • 纯期望用例(无显式规则)的判定行为与升级前一致
  • 引擎单元测试覆盖叠加通过/失败矩阵(先例:现有引擎测试)
  • 全部现有测试保持绿色