sinohqb c4962ddadf fix(llm_score): 修复多轮用例 question 提取错位导致普遍打 0 分 ... ## 现象 多轮/动态用例的 llm_score 规则几乎全部返回 0.0/10 失败，即便被测对象 回复质量很高（实测 400+ 字的专业医疗回复也是 0 分）。 ## 根因 evaluate() 里 question 提取逻辑错误： if len(dialog) >= 2: question_text = extract_reply_text(dialog[-2].reply) # BUG dialog[-2].reply 是「上一轮智能体的回复」，被误当成「用户问题」。于是评分 LLM 收到的问答对是： - "用户问题" = 上一轮 AI 回复 - "智能体回复" = 当前轮 AI 回复 两段都是 AI 说的话、互不相关，评分 LLM 判定牛头不对马嘴 → 打 0 分。 单轮用例因 len(dialog)<2 走 sent_message 提取（正确），故不受影响； 问题只在多轮/dynamic 用例爆发。 ## 修复 - question 始终取当前轮 last_turn.sent_message（用户实际发送的问题）， 移除错误的 dialog[-2].reply 分支 - reason 增加评分 LLM 自己的理由（parsed["reason"]），便于未来诊断 - 新增回归测试：多轮场景验证 question 来自 last sent_message 而非 prev reply Co-Authored-By: Claude <noreply@anthropic.com>		2026-07-17 16:15:07 +08:00
..
__init__.py	v0.3-s2: 3 个新规则 + 组合逻辑 + 33 个测试	2026-07-17 11:23:22 +08:00
base.py	v0.3-s1: 规则层异步化 + 工具函数去重 + HTTP 通道	2026-07-17 10:52:32 +08:00
json_schema.py	v0.3-s2: 3 个新规则 + 组合逻辑 + 33 个测试	2026-07-17 11:23:22 +08:00
keyword.py	v0.3-s1: 规则层异步化 + 工具函数去重 + HTTP 通道	2026-07-17 10:52:32 +08:00
llm_score.py	fix(llm_score): 修复多轮用例 question 提取错位导致普遍打 0 分	2026-07-17 16:15:07 +08:00
response_time.py	v0.3-s1: 规则层异步化 + 工具函数去重 + HTTP 通道	2026-07-17 10:52:32 +08:00
safety.py	v0.3-s2: 3 个新规则 + 组合逻辑 + 33 个测试	2026-07-17 11:23:22 +08:00
semantic.py	v0.3-s2: 3 个新规则 + 组合逻辑 + 33 个测试	2026-07-17 11:23:22 +08:00