sinohqb
62485684ca
fix(architecture): enforce lifecycle consistency
2026-08-07 10:59:27 +08:00
sinohqb
c896ab3f71
refactor(architecture): deepen evaluation lifecycle and read model
2026-08-07 03:11:37 +08:00
sinohqb
5ecb30876e
style(tests): ruff 全量清理 — 49 项修复，backend 与 tests 全绿
...
- ruff --fix 自动修正 44 项：移除未用 import（pytest 等）、import 块排序归一（I001）
- 手工修复剩余 5 项：test_cascade.py 两处未用赋值（F841）；test_s2_rules_and_logic.py 中部 import 移至文件顶部（E402 ×3）
- 无行为变更：全量 492 项测试通过
2026-08-03 15:13:24 +08:00
sinohqb
782916a283
refactor(metrics): type Run summary and converge cross-run aggregation
...
Give EvalRun.summary a typed RunSummary value (unified RunError, lenient
legacy parsing) so readers stop reaching into a schemaless dict, and route
every cross-run rollup — dashboard, scenario ranking, trend, campaign
report — through one aggregate_runs seam. Fixes the divergence where
stats averaged pass_rate over completed-only runs while the campaign
report counted faults as 0.0. Cross-run rule (ADR-0004): genuine faults
count 0.0, user-cancelled runs are excluded from both denominators.
2026-07-31 01:57:56 +08:00
sinohqb
5db0ede4f4
refactor(judgement): converge case-pass decision into one deep module
...
CI / test (push) Failing after 50s
「用例是否通过」此前散落 8 处且互相矛盾：engine 权威判定焊死在持久化里
不可单测；report 聚合/compare/markdown 各自从规则结果反推，规则还不一致
（markdown 用 all([]) 把故障用例误渲染成 ✅ ）。
- 新增纯函数 evaluation/judgement.combine_case_outcome（RuleOutcome/
CaseOutcome），判定组合脱离通道与 DB 可单测（判定矩阵 14 例）
- engine 调用它一次，逐用例权威结果写入 summary.case_outcomes（JSON，
零迁移）；report/compare/markdown 只读权威值，老 run fallback 反推
- 故障用例判 False（ADR-0002）：修正 markdown 的 ✅ bug 与 compare 的
None；顺带修 engine 连通用例无回复也算通过的 bug
- pass_rate 口径改为用例级（CONTEXT.md 词条），规则级保留在
passed_rules/total_rules；CLI 对比标签同步更正
- 修 RunRepository.update 漏拷 scenario_version/triggered_by 的字段漂移
2026-07-29 19:45:02 +08:00
sinohqb
0a47260237
feat(run): snapshot scenario version at run creation (ticket 04)
...
运行创建时快照场景考纲版本，三种触发来源（手动/AI 助手/CLI）一致；
迁移回填存量运行为其场景当前版本，孤儿运行回填 1。运行列表、
报告头与对比卡片展示 v{n} 版本标签。
2026-07-29 10:59:44 +08:00
sinohqb
5dd1bc8535
feat(engine): expectations now additive with explicit rules (ticket 01)
...
期望始终派生隐式判定并与显式规则叠加执行：rule_logic 只组合显式规则，
期望是叠加其上的硬约束，任一不满足即用例不通过。隐式判定以 EvalResult
同构落库，reason 前缀 [期望] 标明来源。连通用例（无规则无期望）行为不变。
2026-07-29 10:24:01 +08:00
sinohqb
867d4e3ff1
fix(engine): dynamic 生成失败原因持久化到 run.summary.case_errors
...
## 背景
用户反馈动态问诊评测「执行不下去」。诊断发现：dynamic 用例的 LLM 消息
生成 API 调用失败（0.2s 瞬间 failed，凭证/参数问题），引擎正确地标记
case 失败——但失败的具体原因（如 401 详情）只 emit 到 WebSocket，从不
写入 run.summary。导致 run 记录只有 total_rules:0 failed，DB/报告查不到
任何原因，用户和排查者都无从下手。
## 修复
- EvalEngine 新增 self._case_errors 收集致命的 case 级错误
- _generate_messages 的 8 个失败点统一走 _fail() helper：既 emit 到
WebSocket，也记录到 _case_errors（含 case_id + stage + 具体 error）
- run() 汇总时把 _case_errors 写入 summary["case_errors"]
- 新增测试：dynamic 生成失败时 summary.case_errors 必须含原因（补上
之前 KNOWN-2 记录的 _generate_messages 测试盲区）
## 注
这不是导致失败的 bug（失败源于外部 API 凭证/参数），而是让失败「可诊断」
的可用性修复。用户需自查 llm_config 的 api_key 是否有效/model 是否被
该端点接受。
Co-Authored-By: Claude <noreply@anthropic.com>
2026-07-17 16:29:51 +08:00
sinohqb
a77cd83e6a
v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复
...
## 新增功能
- 文件管理模块：分类树 + 文件上传/下载/删除
- 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式）
## 页面布局统一（参照评测执行页）
- 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局
- 统一内联页头样式（h2 + 竖线分隔 + 描述）
- 表格撑满高度、overflow 处理
- 每页添加刷新按钮
## Bug 修复
- 分类树操作按钮 hover 不可见（CSS 规则缺失）
- 文件上传失败（multipart boundary 缺失）
- LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response）
- response_time_max_ms 被静默忽略（隐式规则传空 params）
- 空 messages 导致 IndexError 崩溃
- poll_reply 异常中止整个 run（缺 try/catch）
- engine finally 未关闭 session
- 3 个页面 UTC 时间戳解析偏差 8 小时
## 后端
- EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭
- LLM API 响应解析支持 content-block-array 格式
- 隐式 response_time 规则正确传递 max_ms 参数
## 前端
- api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary）
- Files.tsx: customRequest 替代 beforeUpload、布局优化
- index.css: 分类树 hover 规则
- Targets/Scenarios/Home/Reports: 全高布局改造
- 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差）
Co-Authored-By: Claude <noreply@anthropic.com>
2026-07-16 15:25:22 +08:00
