AgentEvalTool

solahqb/AgentEvalTool

Fork 0

Commit Graph

Author	SHA1	Message	Date
sinohqb	c4962ddadf	fix(llm_score): 修复多轮用例 question 提取错位导致普遍打 0 分 ## 现象多轮/动态用例的 llm_score 规则几乎全部返回 0.0/10 失败，即便被测对象回复质量很高（实测 400+ 字的专业医疗回复也是 0 分）。 ## 根因 evaluate() 里 question 提取逻辑错误： if len(dialog) >= 2: question_text = extract_reply_text(dialog[-2].reply) # BUG dialog[-2].reply 是「上一轮智能体的回复」，被误当成「用户问题」。于是评分 LLM 收到的问答对是： - "用户问题" = 上一轮 AI 回复 - "智能体回复" = 当前轮 AI 回复两段都是 AI 说的话、互不相关，评分 LLM 判定牛头不对马嘴 → 打 0 分。单轮用例因 len(dialog)<2 走 sent_message 提取（正确），故不受影响；问题只在多轮/dynamic 用例爆发。 ## 修复 - question 始终取当前轮 last_turn.sent_message（用户实际发送的问题），移除错误的 dialog[-2].reply 分支 - reason 增加评分 LLM 自己的理由（parsed["reason"]），便于未来诊断 - 新增回归测试：多轮场景验证 question 来自 last sent_message 而非 prev reply Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-17 16:15:07 +08:00
sinohqb	e0b69fa2b9	v0.4-t1t2: 测试覆盖率 62%→77% + UTC 时区根本修复 ## T1: P0 测试补全（+67 个测试） - test_utils_llm.py: extract_reply_text / extract_content_from_llm_response / parse_json_from_llm_text 各边界 - test_file_repository.py: 分类 CRUD / 树形结构 / 级联删除 / 文件创建/查询/删除/物理文件清理 - test_report.py: generate_report / generate_compare_report / render_markdown / render_json - test_llm_score.py: OpenAI 格式 / Anthropic content-block 格式 / JSON 回退解析 / 异常降级 ## T2: P1 测试补全（+28 个测试） - test_scenarios.py: 模板列表/字段完整性/规则类型有效性 + YAML/JSON 加载/校验 - test_webhook.py: 未配置不发送 / 正确 payload / secret header / 异常静默忽略 - test_reports_api.py: GET /reports/{id} / /html / /json / /markdown / /compare 集成测试 ## UTC 时区根本修复 - storage/db.py: 新增 iso_utc() 函数，确保所有 datetime 序列化输出带 Z 后缀 - runs.py / files.py / report.py: 6 处 .isoformat() → iso_utc() - 前端 toDate() 兜底仍保留（向下兼容），但后端不再输出无时区时间戳 Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-17 14:19:16 +08:00

Author

SHA1

Message

Date

sinohqb

c4962ddadf

fix(llm_score): 修复多轮用例 question 提取错位导致普遍打 0 分

## 现象
多轮/动态用例的 llm_score 规则几乎全部返回 0.0/10 失败，即便被测对象
回复质量很高（实测 400+ 字的专业医疗回复也是 0 分）。

## 根因
evaluate() 里 question 提取逻辑错误：
    if len(dialog) >= 2:
        question_text = extract_reply_text(dialog[-2].reply)  # BUG
dialog[-2].reply 是「上一轮智能体的回复」，被误当成「用户问题」。于是评分
LLM 收到的问答对是：
  - "用户问题" = 上一轮 AI 回复
  - "智能体回复" = 当前轮 AI 回复
两段都是 AI 说的话、互不相关，评分 LLM 判定牛头不对马嘴 → 打 0 分。

单轮用例因 len(dialog)<2 走 sent_message 提取（正确），故不受影响；
问题只在多轮/dynamic 用例爆发。

## 修复
- question 始终取当前轮 last_turn.sent_message（用户实际发送的问题），
  移除错误的 dialog[-2].reply 分支
- reason 增加评分 LLM 自己的理由（parsed["reason"]），便于未来诊断
- 新增回归测试：多轮场景验证 question 来自 last sent_message 而非 prev reply

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-17 16:15:07 +08:00

sinohqb

e0b69fa2b9

v0.4-t1t2: 测试覆盖率 62%→77% + UTC 时区根本修复

## T1: P0 测试补全（+67 个测试）
- test_utils_llm.py: extract_reply_text / extract_content_from_llm_response / parse_json_from_llm_text 各边界
- test_file_repository.py: 分类 CRUD / 树形结构 / 级联删除 / 文件创建/查询/删除/物理文件清理
- test_report.py: generate_report / generate_compare_report / render_markdown / render_json
- test_llm_score.py: OpenAI 格式 / Anthropic content-block 格式 / JSON 回退解析 / 异常降级

## T2: P1 测试补全（+28 个测试）
- test_scenarios.py: 模板列表/字段完整性/规则类型有效性 + YAML/JSON 加载/校验
- test_webhook.py: 未配置不发送 / 正确 payload / secret header / 异常静默忽略
- test_reports_api.py: GET /reports/{id} / /html / /json / /markdown / /compare 集成测试

## UTC 时区根本修复
- storage/db.py: 新增 iso_utc() 函数，确保所有 datetime 序列化输出带 Z 后缀
- runs.py / files.py / report.py: 6 处 .isoformat() → iso_utc()
- 前端 toDate() 兜底仍保留（向下兼容），但后端不再输出无时区时间戳

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-17 14:19:16 +08:00

2 Commits