solahqb/AgentEvalTool
1
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases 1 Wiki Activity
230 Commits 13 Branches 4 Tags 6 MiB
5cb38befc0
Commit Graph

110 Commits

Author SHA1 Message Date
sinohqb
cc79d3a625 feat(models): support mainstream model protocols 2026-07-17 20:58:27 +08:00
sinohqb
457dfed252 fix(frontend): refresh scenario model references 2026-07-17 20:34:45 +08:00
sinohqb
470ff5875f feat(models): add centralized model configuration 2026-07-17 20:02:43 +08:00
sinohqb
9293f9e842 feat(files): improve category and location layout 2026-07-17 18:13:43 +08:00
sinohqb
d7514f4e65 refactor(files): harden storage and split frontend 
Add transactional file storage workflows, typed API contracts, recursive category handling, frontend component separation, and Files API coverage.
 2026-07-17 17:41:19 +08:00
sinohqb
f765bee7a1 fix(frontend): 修复 vendor-charts 循环 chunk 导致的运行时崩溃 
## 问题
线上打开首页报错：
vendor-charts-Z9UiCjXy.js: Uncaught ReferenceError:
Cannot access 'd' before initialization

## 根因
T4 bundle 优化把 @ant-design/charts 单独拆为 vendor-charts chunk，但它的深层
@antv/* 依赖图与 vendor chunk 交叉引用，形成 Circular chunk（构建时已有警告
"vendor-charts -> vendor -> vendor-charts"，当时被忽略）。循环 chunk 导致
ES module 求值顺序错乱 → TDZ 错误。

尝试把 @antv 也并入 vendor-charts 仍循环（charts 生态还依赖 lodash/d3 等
公共库，与 vendor 交叉）。

## 修复
移除 vendor-charts 单独拆分，让 @ant-design/charts + @antv 回到 vendor 主 chunk，
消除跨 chunk 循环。保留 vendor-monaco / vendor-antd（构建证明无循环）。
charts 在 Home 首页（默认路由）即需加载，单独拆分的懒加载收益本就微乎其微；
真正的懒加载收益来自 App.tsx 的页面级 React.lazy（保留）。

构建验证：无 Circular chunk 警告，无 vendor-charts chunk。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-17 16:04:09 +08:00
sinohqb
12c1732617 v0.4-t3t4: OpenClaw 通道 + 前端 bundle 优化 
## T3: OpenClaw 直连通道
- channels/openclaw.py: OpenClawChannel
  - send: POST /api/v1/chat/completions
  - poll_reply: GET /api/v1/chat/completions/{msg_id}
  - health_check: GET /api/health
  - 默认从 settings 读取 upstream/auth_token，channel_config 可覆盖
- channels/factory.py: 注册 ChannelType.OPENCLAW → OpenClawChannel
- Targets.tsx: 通道类型下拉新增「HTTP 通用」和「OpenClaw」选项
- 8 个 OpenClawChannel 单元测试（发送/轮询/超时/健康检查/默认配置）

## T4: 前端 Bundle 优化
- App.tsx: 7 个页面改为 React.lazy 懒加载 + Suspense fallback（Spin）
- vite.config.ts: 精细化 manualChunks
  - vendor-antd / vendor-monaco / vendor-charts 独立拆分
  - 主 index 68KB → 7KB，页面按需加载
  - 无循环依赖警告

## 测试
- 178/178 全绿，覆盖率维持 77%

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-17 15:37:14 +08:00
sinohqb
17aeba80dd v0.3-s4: 场景模板库 + WS 自动重连 + PageWrapper 复用 
## 场景模板库（S4-1）
- scenarios/templates.py: 6 个内置模板
  - 单轮问答基础 / 多轮对话 / 动态 LLM 生成 / 安全合规检测 / JSON 接口校验 / 加权评分
  - 每个模板附带对应规则配置（含 v0.3 新规则）
- routers/scenarios.py: GET /api/scenarios/templates + GET /api/scenarios/templates/{id}
- api.ts: scenariosApi.listTemplates() / getTemplate()
- Scenarios.tsx: 「从模板新建」按钮 + 卡片式模板选择弹窗
  - 选择后预填名称/描述/标签/cases JSON/llm_config，直接进入编辑 Drawer

## WebSocket 自动重连（S4-2）
- useRunSession.ts: connectWs() 函数 + 指数退避重连
  - 异常断开（非 1000/clean）时自动重试，最多 5 次
  - 延迟：1s → 2s → 4s → 8s → 16s（上限 30s）
  - 超出重试次数后降级 REST 获取最终状态
  - reconnectTimerRef 在组件卸载时清理，无内存泄漏

## PageWrapper 复用（S4-3）
- PageWrapper.tsx: 升级 inline 模式匹配全高页面的 padding 页头样式
- Home / Targets / Scenarios: 用 PageWrapper inline+fullHeight 替换重复内联页头
- Home.tsx: 去掉 unused `colors` import

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-17 12:05:18 +08:00
sinohqb
349200e51f v0.3-s3: Webhook + OpenClaw HTTP Skill + Markdown/对比报告 
## Webhook 通知（S3-1）
- settings.py: 增加 AGENTEVAL_WEBHOOK_URL / AGENTEVAL_WEBHOOK_SECRET
- utils/webhook.py: send_run_webhook()，非阻断，任何异常仅 warning log
- runs.py: run 完成后自动触发 webhook（payload 含 run_id/status/summary/report_url）
- .env.example: 新增 webhook 配置示例

## OpenClaw Skill HTTP 改造（S3-2）
- plugins/openclaw/agenteval_skill.py: 完全重写
  - 改用 HTTP API（POST /api/runs + GET /api/runs/{id} 轮询 + GET /api/reports/{id}）
  - 移除 subprocess + CLI 依赖
  - 轮询等待至 completed/failed，支持配置 poll_interval / timeout
  - 返回结构化中文摘要（summary_text），直接可用于 OpenClaw 对话展示

## Markdown 报告导出（S3-3）
- report.py: render_markdown_report() — 完整的 Markdown 表格 + 对话展示
- save_report: 支持 fmt="markdown"，输出 .md 文件
- reports.py: GET /api/reports/{run_id}/markdown，Content-Disposition 附件下载
- api.ts: reportsApi.markdownUrl()
- Reports.tsx: 「导出 MD」按钮

## 对比报告（S3-4）
- report.py: generate_compare_report(run_id_1, run_id_2)
  - run_a / run_b 汇总 + delta（pass_rate / passed_cases / passed_rules）
  - case-level diff，标记 changed 用例
- reports.py: GET /api/reports/compare?run1=&run2=
- api.ts: reportsApi.compare()
- Reports.tsx: 完整对比视图
  - Segmented 切换「单次报告」/「对比报告」
  - 双 Select（报告 A vs B）+ 对比按钮
  - 汇总 delta card（pass_rate 变化 + 变化用例数徽章）
  - 用例对比表（通过/失败/改善↑/退步↓）+ 展开规则明细

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-17 11:44:54 +08:00
sinohqb
a77cd83e6a v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复 
## 新增功能
- 文件管理模块：分类树 + 文件上传/下载/删除
- 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式）

## 页面布局统一（参照评测执行页）
- 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局
- 统一内联页头样式（h2 + 竖线分隔 + 描述）
- 表格撑满高度、overflow 处理
- 每页添加刷新按钮

## Bug 修复
- 分类树操作按钮 hover 不可见（CSS 规则缺失）
- 文件上传失败（multipart boundary 缺失）
- LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response）
- response_time_max_ms 被静默忽略（隐式规则传空 params）
- 空 messages 导致 IndexError 崩溃
- poll_reply 异常中止整个 run（缺 try/catch）
- engine finally 未关闭 session
- 3 个页面 UTC 时间戳解析偏差 8 小时

## 后端
- EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭
- LLM API 响应解析支持 content-block-array 格式
- 隐式 response_time 规则正确传递 max_ms 参数

## 前端
- api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary）
- Files.tsx: customRequest 替代 beforeUpload、布局优化
- index.css: 分类树 hover 规则
- Targets/Scenarios/Home/Reports: 全高布局改造
- 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-16 15:25:22 +08:00