AgentEvalTool

solahqb/AgentEvalTool

Fork 0

Commit Graph

Author	SHA1	Message	Date
sinohqb	470ff5875f	feat(models): add centralized model configuration	2026-07-17 20:02:43 +08:00
sinohqb	349200e51f	v0.3-s3: Webhook + OpenClaw HTTP Skill + Markdown/对比报告 ## Webhook 通知（S3-1） - settings.py: 增加 AGENTEVAL_WEBHOOK_URL / AGENTEVAL_WEBHOOK_SECRET - utils/webhook.py: send_run_webhook()，非阻断，任何异常仅 warning log - runs.py: run 完成后自动触发 webhook（payload 含 run_id/status/summary/report_url） - .env.example: 新增 webhook 配置示例 ## OpenClaw Skill HTTP 改造（S3-2） - plugins/openclaw/agenteval_skill.py: 完全重写 - 改用 HTTP API（POST /api/runs + GET /api/runs/{id} 轮询 + GET /api/reports/{id}） - 移除 subprocess + CLI 依赖 - 轮询等待至 completed/failed，支持配置 poll_interval / timeout - 返回结构化中文摘要（summary_text），直接可用于 OpenClaw 对话展示 ## Markdown 报告导出（S3-3） - report.py: render_markdown_report() — 完整的 Markdown 表格 + 对话展示 - save_report: 支持 fmt="markdown"，输出 .md 文件 - reports.py: GET /api/reports/{run_id}/markdown，Content-Disposition 附件下载 - api.ts: reportsApi.markdownUrl() - Reports.tsx: 「导出 MD」按钮 ## 对比报告（S3-4） - report.py: generate_compare_report(run_id_1, run_id_2) - run_a / run_b 汇总 + delta（pass_rate / passed_cases / passed_rules） - case-level diff，标记 changed 用例 - reports.py: GET /api/reports/compare?run1=&run2= - api.ts: reportsApi.compare() - Reports.tsx: 完整对比视图 - Segmented 切换「单次报告」/「对比报告」 - 双 Select（报告 A vs B）+ 对比按钮 - 汇总 delta card（pass_rate 变化 + 变化用例数徽章） - 用例对比表（通过/失败/改善↑/退步↓）+ 展开规则明细 Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-17 11:44:54 +08:00
sinohqb	a77cd83e6a	v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复 ## 新增功能 - 文件管理模块：分类树 + 文件上传/下载/删除 - 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式） ## 页面布局统一（参照评测执行页） - 仪表盘/评测对象/评测场景/评测报告全部改为全高 flex 布局 - 统一内联页头样式（h2 + 竖线分隔 + 描述） - 表格撑满高度、overflow 处理 - 每页添加刷新按钮 ## Bug 修复 - 分类树操作按钮 hover 不可见（CSS 规则缺失） - 文件上传失败（multipart boundary 缺失） - LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response） - response_time_max_ms 被静默忽略（隐式规则传空 params） - 空 messages 导致 IndexError 崩溃 - poll_reply 异常中止整个 run（缺 try/catch） - engine finally 未关闭 session - 3 个页面 UTC 时间戳解析偏差 8 小时 ## 后端 - EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭 - LLM API 响应解析支持 content-block-array 格式 - 隐式 response_time 规则正确传递 max_ms 参数 ## 前端 - api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary） - Files.tsx: customRequest 替代 beforeUpload、布局优化 - index.css: 分类树 hover 规则 - Targets/Scenarios/Home/Reports: 全高布局改造 - 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差） Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-16 15:25:22 +08:00

Author

SHA1

Message

Date

sinohqb

470ff5875f

feat(models): add centralized model configuration

2026-07-17 20:02:43 +08:00

sinohqb

349200e51f

v0.3-s3: Webhook + OpenClaw HTTP Skill + Markdown/对比报告

## Webhook 通知（S3-1）
- settings.py: 增加 AGENTEVAL_WEBHOOK_URL / AGENTEVAL_WEBHOOK_SECRET
- utils/webhook.py: send_run_webhook()，非阻断，任何异常仅 warning log
- runs.py: run 完成后自动触发 webhook（payload 含 run_id/status/summary/report_url）
- .env.example: 新增 webhook 配置示例

## OpenClaw Skill HTTP 改造（S3-2）
- plugins/openclaw/agenteval_skill.py: 完全重写
  - 改用 HTTP API（POST /api/runs + GET /api/runs/{id} 轮询 + GET /api/reports/{id}）
  - 移除 subprocess + CLI 依赖
  - 轮询等待至 completed/failed，支持配置 poll_interval / timeout
  - 返回结构化中文摘要（summary_text），直接可用于 OpenClaw 对话展示

## Markdown 报告导出（S3-3）
- report.py: render_markdown_report() — 完整的 Markdown 表格 + 对话展示
- save_report: 支持 fmt="markdown"，输出 .md 文件
- reports.py: GET /api/reports/{run_id}/markdown，Content-Disposition 附件下载
- api.ts: reportsApi.markdownUrl()
- Reports.tsx: 「导出 MD」按钮

## 对比报告（S3-4）
- report.py: generate_compare_report(run_id_1, run_id_2)
  - run_a / run_b 汇总 + delta（pass_rate / passed_cases / passed_rules）
  - case-level diff，标记 changed 用例
- reports.py: GET /api/reports/compare?run1=&run2=
- api.ts: reportsApi.compare()
- Reports.tsx: 完整对比视图
  - Segmented 切换「单次报告」/「对比报告」
  - 双 Select（报告 A vs B）+ 对比按钮
  - 汇总 delta card（pass_rate 变化 + 变化用例数徽章）
  - 用例对比表（通过/失败/改善↑/退步↓）+ 展开规则明细

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-17 11:44:54 +08:00

sinohqb

a77cd83e6a

v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复

## 新增功能
- 文件管理模块：分类树 + 文件上传/下载/删除
- 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式）

## 页面布局统一（参照评测执行页）
- 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局
- 统一内联页头样式（h2 + 竖线分隔 + 描述）
- 表格撑满高度、overflow 处理
- 每页添加刷新按钮

## Bug 修复
- 分类树操作按钮 hover 不可见（CSS 规则缺失）
- 文件上传失败（multipart boundary 缺失）
- LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response）
- response_time_max_ms 被静默忽略（隐式规则传空 params）
- 空 messages 导致 IndexError 崩溃
- poll_reply 异常中止整个 run（缺 try/catch）
- engine finally 未关闭 session
- 3 个页面 UTC 时间戳解析偏差 8 小时

## 后端
- EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭
- LLM API 响应解析支持 content-block-array 格式
- 隐式 response_time 规则正确传递 max_ms 参数

## 前端
- api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary）
- Files.tsx: customRequest 替代 beforeUpload、布局优化
- index.css: 分类树 hover 规则
- Targets/Scenarios/Home/Reports: 全高布局改造
- 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差）

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-16 15:25:22 +08:00

3 Commits