AgentEvalTool

solahqb/AgentEvalTool

Fork 0

Commit Graph

Author	SHA1	Message	Date
sinohqb	5ecb30876e	style(tests): ruff 全量清理 — 49 项修复，backend 与 tests 全绿 - ruff --fix 自动修正 44 项：移除未用 import（pytest 等）、import 块排序归一（I001） - 手工修复剩余 5 项：test_cascade.py 两处未用赋值（F841）；test_s2_rules_and_logic.py 中部 import 移至文件顶部（E402 ×3） - 无行为变更：全量 492 项测试通过	2026-08-03 15:13:24 +08:00
sinohqb	782916a283	refactor(metrics): type Run summary and converge cross-run aggregation Give EvalRun.summary a typed RunSummary value (unified RunError, lenient legacy parsing) so readers stop reaching into a schemaless dict, and route every cross-run rollup — dashboard, scenario ranking, trend, campaign report — through one aggregate_runs seam. Fixes the divergence where stats averaged pass_rate over completed-only runs while the campaign report counted faults as 0.0. Cross-run rule (ADR-0004): genuine faults count 0.0, user-cancelled runs are excluded from both denominators.	2026-07-31 01:57:56 +08:00
sinohqb	c7f1dca49d	v0.3-s2: 3 个新规则 + 组合逻辑 + 33 个测试 ## 新规则（共 6 种，增加 3 种） ### semantic_similarity - 调用 OpenAI 兼容 embedding API（asyncio.gather 并发两路请求） - 余弦相似度与 reference 比对，min_score 可配置（默认 0.7） - API 异常时明确返回失败原因，不隐藏错误 ### json_schema - 验证回复是否为合法 JSON（支持 markdown 代码块剥离） - required_keys / forbidden_keys / key_types 三维校验 - dot-path 支持嵌套字段（"data.id"） - strict_json=false 模式非阻断校验 ### safety - 双层检测：关键词黑名单（零延迟）+ 可选 moderation API - API 不可用时自动降级黑名单，不中止评测 - 支持自定义 flagged_categories ## 规则组合逻辑（rule_logic + rule_pass_threshold） - models.py: EvalRuleConfig 增加 weight 字段；Case 增加 rule_logic / rule_pass_threshold - models.py: 新增 RuleLogic 枚举（all / any / weighted） - engine._save_rule_results: 按 rule_logic 决定 case 通过/失败 - ALL：全部通过才通过（原有行为，向下兼容） - ANY：至少一条通过即通过 - WEIGHTED：加权平均分 >= rule_pass_threshold ## 测试（43 → 76，新增 33） - test_s2_rules_and_logic.py：3 个新规则的 pass/fail/边界/API 降级 + 5 个组合逻辑集成测试 Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-17 11:23:22 +08:00

Author

SHA1

Message

Date

sinohqb

5ecb30876e

style(tests): ruff 全量清理 — 49 项修复，backend 与 tests 全绿

- ruff --fix 自动修正 44 项：移除未用 import（pytest 等）、import 块排序归一（I001）
- 手工修复剩余 5 项：test_cascade.py 两处未用赋值（F841）；test_s2_rules_and_logic.py 中部 import 移至文件顶部（E402 ×3）
- 无行为变更：全量 492 项测试通过

2026-08-03 15:13:24 +08:00

sinohqb

782916a283

refactor(metrics): type Run summary and converge cross-run aggregation

Give EvalRun.summary a typed RunSummary value (unified RunError, lenient
legacy parsing) so readers stop reaching into a schemaless dict, and route
every cross-run rollup — dashboard, scenario ranking, trend, campaign
report — through one aggregate_runs seam. Fixes the divergence where
stats averaged pass_rate over completed-only runs while the campaign
report counted faults as 0.0. Cross-run rule (ADR-0004): genuine faults
count 0.0, user-cancelled runs are excluded from both denominators.

2026-07-31 01:57:56 +08:00

sinohqb

c7f1dca49d

v0.3-s2: 3 个新规则 + 组合逻辑 + 33 个测试

## 新规则（共 6 种，增加 3 种）

### semantic_similarity
- 调用 OpenAI 兼容 embedding API（asyncio.gather 并发两路请求）
- 余弦相似度与 reference 比对，min_score 可配置（默认 0.7）
- API 异常时明确返回失败原因，不隐藏错误

### json_schema
- 验证回复是否为合法 JSON（支持 markdown 代码块剥离）
- required_keys / forbidden_keys / key_types 三维校验
- dot-path 支持嵌套字段（"data.id"）
- strict_json=false 模式非阻断校验

### safety
- 双层检测：关键词黑名单（零延迟）+ 可选 moderation API
- API 不可用时自动降级黑名单，不中止评测
- 支持自定义 flagged_categories

## 规则组合逻辑（rule_logic + rule_pass_threshold）

- models.py: EvalRuleConfig 增加 weight 字段；Case 增加 rule_logic / rule_pass_threshold
- models.py: 新增 RuleLogic 枚举（all / any / weighted）
- engine._save_rule_results: 按 rule_logic 决定 case 通过/失败
  - ALL：全部通过才通过（原有行为，向下兼容）
  - ANY：至少一条通过即通过
  - WEIGHTED：加权平均分 >= rule_pass_threshold

## 测试（43 → 76，新增 33）
- test_s2_rules_and_logic.py：3 个新规则的 pass/fail/边界/API 降级 + 5 个组合逻辑集成测试

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-17 11:23:22 +08:00

3 Commits