solahqb/AgentEvalTool
1
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases 1 Wiki Activity
282 Commits 13 Branches 4 Tags 6 MiB
2e3c00bc69
Commit Graph

15 Commits

Author SHA1 Message Date
sinohqb
2e3c00bc69 feat(v1.3.1): Phase 4 场景扩充、网关延迟优化与报告 go/no-go 展示
All checks were successful
CI / test (pull_request) Successful in 3m55s
Details 
4.1 新增三个评估场景（急诊分诊、慢病管理、健康咨询），各 3 个用例，
    全部使用无模型绑定依赖的规则；急诊场景编码 <20s 延迟验收标准
4.2 ModelGateway 由每次请求新建 httpx.AsyncClient 改为单实例共享客户端
    （复用 TCP/TLS 连接），引擎与模型连通性测试端点负责关闭；
    tutu 通道已具备同等优化，无需改动
4.3 Reports.tsx 单次报告顶部新增上线评估横幅：go/no-go/conditional
    三态 banner + 各验收标准达标情况标签

版本号升至 1.3.1（v1.3.1-final）。

门禁：pytest tests/unit 709 passed；ruff 全绿；
前端 tsc --noEmit + vitest 232 passed。

附带修复 RunList 测试时区缺陷：started_at 用 UTC 日期构造，
本地 00:00-08:00 之间会被默认"今天"过滤器排除导致误报失败。
 2026-08-26 02:15:18 +08:00
sinohqb
3705945a7d test: 完整测试覆盖补全（+163 用例） 
架构重构（候选 1-6）：
- storage/repository.py 按域拆分为包（target/scenario/run/campaign/result）
- storage/db.py 按域拆分为包（eval/campaign/file/model_config/intelligent_eval）
- intelligent_eval/lifecycle.py 按状态机阶段拆分为包
- services/runs.py 编排逻辑下沉
- Campaigns.tsx 拆分为 campaigns/ 子组件

测试补全（候选 7）：
前端（+125 用例，107→232）：
- utils/ 纯函数：date/campaignTime/ruleLabels/fileTree/fileFormat/colors
- stores/tabStore 状态管理
- 核心组件：FormDrawer/PageWrapper/ChatBubble/GeneratedMessages/SectionHeader/StatCard/TurnList
- 业务组件：CaseBlock/CaseDetail/RuleOverview/WindowTimeline/RunList/TabBar/CampaignRunTimeline
- 文件管理：FileCategoryTree/FileTable
- hooks：sessionReducer/useFiles/useRunSession

后端（+38 用例，916→954）：
- targets API CRUD + 404 路径
- WebSocket 连接管理器
- proxy 头部重写（CSP/X-Frame-Options）
- target 仓储 update 方法
- app 健康检查 + SPA 404
- scenarios 模板端点 + 404
- files API 边缘分支（404 场景 + 500 兜底）
- files service update_category
- 智能评估状态机迁移测试

门禁状态：
- 前端：tsc 干净 + 232 passed
- 后端：954 passed + ruff 全绿
 2026-08-24 15:56:09 +08:00
sinohqb
fa5e3b8d5d refactor(ui): consolidate state maps + colors to tokens (audit P1) 
UI/UX 盘点 P1 一致性修复：
- 收敛重复状态映射：ExplorationSection 复用 SESSION_STATUS、TaskQueueMonitor
  复用 EVAL_STATUS（消除 blue/green 与 processing/success 颜色漂移）、
  Campaigns 复用 SEVERITY_META（均来自 intelligent_eval/status.ts）
- 硬编码颜色走 token：Reports 通过率用 passRateColor、通过/失败/delta 用
  statusColors；IntelligentEvals/TaskQueueMonitor/EvalReport/PeriodComparison
  的 #52c41a/#ff4d4f 用 statusColors.completed/failed；RunList/RuleOverview
  的 #faad14 用 colors.warning；Home 的 #1677ff 用 colors.primary
tsc 0 错误 vitest 19 passed
 2026-08-17 23:42:13 +08:00
sinohqb
5077f088b1 refactor(ui): align Reports page shell with consistency baseline (ui-consistency ticket 07) 
PageWrapper inline fullHeight with an inner flex column to keep the
selection bar / content split, and 20-row pagination threshold on the
compare-case table. Report selection, charts, and compare logic
unchanged.
 2026-08-05 20:26:43 +08:00
sinohqb
050c674ee2 refactor(frontend): extract useResource/usePolling shared hooks
Some checks failed
CI / test (push) Failing after 1m10s
Details 
Seven pages repeated the same load-on-mount + loading + try/finally +
reload-button skeleton, each re-implementing tab-active refresh, silent
polling, and (in two places) a hand-rolled requestId race guard. Extract two
composable hooks: useResource(fetcher, {tabPath, deps}) owning data/loading/
reload with a built-in race guard and auto tab-active refresh, and
usePolling(fn, ms, enabled) replacing the hand-written setInterval effects.
Migrate all seven pages onto them; Targets/Scenarios/ModelConfigs also gain a
uniform tab-active refresh they previously lacked. Verified via tsc --noEmit
and npm run build (no frontend test runner exists).
 2026-07-31 11:01:24 +08:00
sinohqb
782916a283 refactor(metrics): type Run summary and converge cross-run aggregation 
Give EvalRun.summary a typed RunSummary value (unified RunError, lenient
legacy parsing) so readers stop reaching into a schemaless dict, and route
every cross-run rollup — dashboard, scenario ranking, trend, campaign
report — through one aggregate_runs seam. Fixes the divergence where
stats averaged pass_rate over completed-only runs while the campaign
report counted faults as 0.0. Cross-run rule (ADR-0004): genuine faults
count 0.0, user-cancelled runs are excluded from both denominators.
 2026-07-31 01:57:56 +08:00
sinohqb
cbab55843b fix(reports): export via authed axios blob download instead of window.open
Some checks failed
CI / test (push) Failing after 2m50s
Details 
启用登录鉴权后，导出 HTML/MD/JSON 用 window.open 直连 API 无法携带
X-Auth-Token，服务端返回 401 导致导出失效。改为经 axios 拉取 blob
（拦截器自动附加凭据）后触发浏览器下载。
 2026-07-29 15:35:34 +08:00
sinohqb
fbac28bc7e feat(frontend): always show trigger source labels (手动/AI 助手/CLI)
Some checks failed
CI / test (push) Failing after 49s
Details 
运行列表、报告页运行下拉、仪表盘最近评测行不再隐藏手动标签；
报告头与对比 A/B 卡片新增"触发方式"（报告 payload 补 triggered_by）。
 2026-07-29 14:34:32 +08:00
sinohqb
8e3cf82fcc feat(frontend): surface scenario version across dropdowns and views
Some checks failed
CI / test (push) Failing after 43s
Details 
场景启动下拉、报告页运行下拉（A/B）、场景筛选（版本范围 v1/v2）、
仪表盘最近评测行、场景预览与编辑弹窗标题统一带上考纲版本标识。
 2026-07-29 14:20:09 +08:00
sinohqb
770d260750 feat(report): compare requires same scenario version (ticket 05)
Some checks failed
CI / test (push) Failing after 39s
Details 
对比报告可比性收紧为同场景同考纲版本（ADR-0001）：跨版本 API 返回 400
（detail 含双方版本号），报告生成层抛 ValueError；前端对比候选按
同场景 + 同版本过滤，A 变更后自动清空不可比的 B。文档"尚未实现"标注移除。
 2026-07-29 11:21:52 +08:00
sinohqb
0a47260237 feat(run): snapshot scenario version at run creation (ticket 04) 
运行创建时快照场景考纲版本，三种触发来源（手动/AI 助手/CLI）一致；
迁移回填存量运行为其场景当前版本，孤儿运行回填 1。运行列表、
报告头与对比卡片展示 v{n} 版本标签。
 2026-07-29 10:59:44 +08:00
sinohqb
8a526599ab feat(report): annotate connectivity cases and add judged pass rate (ticket 02) 
报告层推导连通用例标记（无判定结果 + 每轮有回复 + 无用例级错误），
summary 新增 connectivity_cases 与 judged_pass_rate（无判定型用例时为 null）。
对比报告同步标注且连通用例按引擎口径计通过；总通过率口径不变（ADR-0002）。
 2026-07-29 10:32:56 +08:00
sinohqb
9c564b575e feat(frontend): v0.4 login page, dashboard rebuild, reports UX, keep-alive refresh 
- 登录页 + App 鉴权门 + X-Auth-Token 拦截器 + 菜单头部退出按钮
- 仪表盘重构：6 指标卡 / 趋势图 + 场景表现 / 最近记录 + 快捷操作 + 来源分布
- Reports 页重做：场景筛选、富选项下拉、allowClear、一键重置、同场景对比约束
- useOnTabActive：标签页激活自动刷新（根治 AI 助手评测记录"消失"）
- ModelConfigs 12 列合并为 6 列；来源 Tag；chunk 告警阈值修正并记录原因
 2026-07-28 17:41:08 +08:00
sinohqb
349200e51f v0.3-s3: Webhook + OpenClaw HTTP Skill + Markdown/对比报告 
## Webhook 通知（S3-1）
- settings.py: 增加 AGENTEVAL_WEBHOOK_URL / AGENTEVAL_WEBHOOK_SECRET
- utils/webhook.py: send_run_webhook()，非阻断，任何异常仅 warning log
- runs.py: run 完成后自动触发 webhook（payload 含 run_id/status/summary/report_url）
- .env.example: 新增 webhook 配置示例

## OpenClaw Skill HTTP 改造（S3-2）
- plugins/openclaw/agenteval_skill.py: 完全重写
  - 改用 HTTP API（POST /api/runs + GET /api/runs/{id} 轮询 + GET /api/reports/{id}）
  - 移除 subprocess + CLI 依赖
  - 轮询等待至 completed/failed，支持配置 poll_interval / timeout
  - 返回结构化中文摘要（summary_text），直接可用于 OpenClaw 对话展示

## Markdown 报告导出（S3-3）
- report.py: render_markdown_report() — 完整的 Markdown 表格 + 对话展示
- save_report: 支持 fmt="markdown"，输出 .md 文件
- reports.py: GET /api/reports/{run_id}/markdown，Content-Disposition 附件下载
- api.ts: reportsApi.markdownUrl()
- Reports.tsx: 「导出 MD」按钮

## 对比报告（S3-4）
- report.py: generate_compare_report(run_id_1, run_id_2)
  - run_a / run_b 汇总 + delta（pass_rate / passed_cases / passed_rules）
  - case-level diff，标记 changed 用例
- reports.py: GET /api/reports/compare?run1=&run2=
- api.ts: reportsApi.compare()
- Reports.tsx: 完整对比视图
  - Segmented 切换「单次报告」/「对比报告」
  - 双 Select（报告 A vs B）+ 对比按钮
  - 汇总 delta card（pass_rate 变化 + 变化用例数徽章）
  - 用例对比表（通过/失败/改善↑/退步↓）+ 展开规则明细

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-17 11:44:54 +08:00
sinohqb
a77cd83e6a v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复 
## 新增功能
- 文件管理模块：分类树 + 文件上传/下载/删除
- 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式）

## 页面布局统一（参照评测执行页）
- 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局
- 统一内联页头样式（h2 + 竖线分隔 + 描述）
- 表格撑满高度、overflow 处理
- 每页添加刷新按钮

## Bug 修复
- 分类树操作按钮 hover 不可见（CSS 规则缺失）
- 文件上传失败（multipart boundary 缺失）
- LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response）
- response_time_max_ms 被静默忽略（隐式规则传空 params）
- 空 messages 导致 IndexError 崩溃
- poll_reply 异常中止整个 run（缺 try/catch）
- engine finally 未关闭 session
- 3 个页面 UTC 时间戳解析偏差 8 小时

## 后端
- EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭
- LLM API 响应解析支持 content-block-array 格式
- 隐式 response_time 规则正确传递 max_ms 参数

## 前端
- api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary）
- Files.tsx: customRequest 替代 beforeUpload、布局优化
- index.css: 分类树 hover 规则
- Targets/Scenarios/Home/Reports: 全高布局改造
- 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-16 15:25:22 +08:00