sinohqb
|
2f09ee2bfc
|
refactor(v1.3.1): Phase 3 报告横幅、评分逻辑收敛与成本闭环
CI / test (pull_request) Successful in 3m58s
- 报告渲染 Go/No-Go 上线评估横幅（HTML 彩色 banner + Markdown 引用块）
- 抽取 scored_llm 共享模块：llm_score / fluency 直连调用与评分解析收敛
- 网关新增 chat_with_usage / embed_with_usage，规则按次归集 llm_usage
- 引擎分岗位用量归集（judge/generator/embedding/moderation）写入
RunSummary.eval_usage_by_purpose，并发下不做总量差值
- cost_tracking 重构：data/model_pricing.json 覆盖 + 默认计价表，
删除从未有数据支撑的 Turn 维度成本函数（偏差说明见 PR）
- 报告 summary 增加 eval_cost 分岗位成本段并在 Markdown 渲染
|
2026-08-26 01:59:20 +08:00 |
|
sinohqb
|
5ecb30876e
|
style(tests): ruff 全量清理 — 49 项修复，backend 与 tests 全绿
- ruff --fix 自动修正 44 项：移除未用 import（pytest 等）、import 块排序归一（I001）
- 手工修复剩余 5 项：test_cascade.py 两处未用赋值（F841）；test_s2_rules_and_logic.py 中部 import 移至文件顶部（E402 ×3）
- 无行为变更：全量 492 项测试通过
|
2026-08-03 15:13:24 +08:00 |
|
sinohqb
|
c4962ddadf
|
fix(llm_score): 修复多轮用例 question 提取错位导致普遍打 0 分
## 现象
多轮/动态用例的 llm_score 规则几乎全部返回 0.0/10 失败，即便被测对象
回复质量很高（实测 400+ 字的专业医疗回复也是 0 分）。
## 根因
evaluate() 里 question 提取逻辑错误：
if len(dialog) >= 2:
question_text = extract_reply_text(dialog[-2].reply) # BUG
dialog[-2].reply 是「上一轮智能体的回复」，被误当成「用户问题」。于是评分
LLM 收到的问答对是：
- "用户问题" = 上一轮 AI 回复
- "智能体回复" = 当前轮 AI 回复
两段都是 AI 说的话、互不相关，评分 LLM 判定牛头不对马嘴 → 打 0 分。
单轮用例因 len(dialog)<2 走 sent_message 提取（正确），故不受影响；
问题只在多轮/dynamic 用例爆发。
## 修复
- question 始终取当前轮 last_turn.sent_message（用户实际发送的问题），
移除错误的 dialog[-2].reply 分支
- reason 增加评分 LLM 自己的理由（parsed["reason"]），便于未来诊断
- 新增回归测试：多轮场景验证 question 来自 last sent_message 而非 prev reply
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-17 16:15:07 +08:00 |
|
sinohqb
|
e0b69fa2b9
|
v0.4-t1t2: 测试覆盖率 62%→77% + UTC 时区根本修复
## T1: P0 测试补全（+67 个测试）
- test_utils_llm.py: extract_reply_text / extract_content_from_llm_response / parse_json_from_llm_text 各边界
- test_file_repository.py: 分类 CRUD / 树形结构 / 级联删除 / 文件创建/查询/删除/物理文件清理
- test_report.py: generate_report / generate_compare_report / render_markdown / render_json
- test_llm_score.py: OpenAI 格式 / Anthropic content-block 格式 / JSON 回退解析 / 异常降级
## T2: P1 测试补全（+28 个测试）
- test_scenarios.py: 模板列表/字段完整性/规则类型有效性 + YAML/JSON 加载/校验
- test_webhook.py: 未配置不发送 / 正确 payload / secret header / 异常静默忽略
- test_reports_api.py: GET /reports/{id} / /html / /json / /markdown / /compare 集成测试
## UTC 时区根本修复
- storage/db.py: 新增 iso_utc() 函数，确保所有 datetime 序列化输出带 Z 后缀
- runs.py / files.py / report.py: 6 处 .isoformat() → iso_utc()
- 前端 toDate() 兜底仍保留（向下兼容），但后端不再输出无时区时间戳
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-17 14:19:16 +08:00 |
|