c4962ddadf
## 现象
多轮/动态用例的 llm_score 规则几乎全部返回 0.0/10 失败，即便被测对象
回复质量很高（实测 400+ 字的专业医疗回复也是 0 分）。
## 根因
evaluate() 里 question 提取逻辑错误：
if len(dialog) >= 2:
question_text = extract_reply_text(dialog[-2].reply) # BUG
dialog[-2].reply 是「上一轮智能体的回复」，被误当成「用户问题」。于是评分
LLM 收到的问答对是：
- "用户问题" = 上一轮 AI 回复
- "智能体回复" = 当前轮 AI 回复
两段都是 AI 说的话、互不相关，评分 LLM 判定牛头不对马嘴 → 打 0 分。
单轮用例因 len(dialog)<2 走 sent_message 提取（正确），故不受影响；
问题只在多轮/dynamic 用例爆发。
## 修复
- question 始终取当前轮 last_turn.sent_message（用户实际发送的问题），
移除错误的 dialog[-2].reply 分支
- reason 增加评分 LLM 自己的理由（parsed["reason"]），便于未来诊断
- 新增回归测试：多轮场景验证 question 来自 last sent_message 而非 prev reply
Co-Authored-By: Claude <noreply@anthropic.com>
|
||
|---|---|---|
| .. | ||
| agenteval | ||
| cli | ||
| plugins/openclaw | ||