AgentEvalTool/.scratch/v0.5/issues/01-expectation-rule-additive.md
sinohqb 5dd1bc8535 feat(engine): expectations now additive with explicit rules (ticket 01)
期望始终派生隐式判定并与显式规则叠加执行:rule_logic 只组合显式规则,
期望是叠加其上的硬约束,任一不满足即用例不通过。隐式判定以 EvalResult
同构落库,reason 前缀 [期望] 标明来源。连通用例(无规则无期望)行为不变。
2026-07-29 10:24:01 +08:00

1.3 KiB
Raw Permalink Blame History

01 — 期望与规则叠加生效

What to build: 用例同时配置期望(关键词/时延上限与显式评估规则时两者都参与判定期望始终派生为隐式判定并追加执行任一不满足则用例不通过。期望派生的判定结果与显式规则结果同构落库reason 标明来源为期望),前端结果列表无需特殊处理即可看到。rule_logicall/any/weighted只组合显式规则隐式期望判定是叠加其上的硬约束。只写期望不写规则的存量用例行为保持不变。

Blocked by: None — can start immediately.

Status: done

  • 同时配置期望与规则的用例,期望不满足时用例不通过(即使显式规则全部通过)
  • 期望派生判定以 EvalResult 形式存储reason 可辨识来源为期望
  • rule_logic=any/weighted 时,隐式期望判定不参与组合计算,仍作为独立硬约束
  • 纯期望用例(无显式规则)的判定行为与升级前一致
  • 引擎单元测试覆盖叠加通过/失败矩阵(先例:现有引擎测试)
  • 全部现有测试保持绿色

实施备注:纯期望用例在默认 rule_logic=ALL 下行为与升级前完全一致;纯期望 + ANY/WEIGHTED 的病态组合下期望现按硬约束全判spec 决策优先于工单字面)。