sinohqb
8959e7ac42
fix(intelligent-eval): respect time-window slot distribution + flat scores
...
CI / test (push) Successful in 3m57s
1) 时段分布失效：方案③'立即完成'触发让 worker 一次性创建所有计划会话，
1h 窗口在几分钟内跑完，time_distribution 时段分布失效。
- 触发指令明确'仅执行当前到期时段内欠账的会话，绝不创建未来时段会话'
- worker skill 决策逻辑强化：严格按 current_offset 定位当前时段、只建该时段
配额内的会话；完成当前时段后标记任务完成，由平台后续时段重新入队触发
2) 综合评分为空：analyst 产出扁平 scores {维度:分}，前端 EvalReport 只认
嵌套 {overall, dimensions} → overall 空。
- EvalReport 兼容两种结构：维度取 dimensions（嵌套）或整个 scores（扁平），
综合分取 overall 或维度平均
898 passed, tsc 0, vitest 16
2026-08-18 13:43:14 +08:00
sinohqb
30b9cac224
feat(intelligent-eval): implement worker skill and APIs (ticket 03)
...
- Create agenteval-intelligent-worker SKILL.md with decision logic
- Implement heartbeat API (POST /api/openclaw/crons/{id}/heartbeat)
- Implement decision log API (POST /api/intelligent-evals/{id}/decision-logs)
- Skill includes idle/busy state management and cron state handling
- Deployment script already syncs skills automatically
- Add 6 integration tests
All 784 tests passing.
2026-08-12 10:01:56 +08:00
sinohqb
e1491dfc97
feat(intelligent-eval): OpenClaw planner/evaluator/analyst skills (ticket 08)
...
CI / test (push) Failing after 43s
Three role-split skills synced via the existing deploy pipeline:
planner produces the coarse plan for approval, evaluator self-wakes by
time distribution to run virtual-user sessions, analyst aggregates session
evidence into the structured report.
2026-08-05 04:07:33 +08:00
sinohqb
fc167a8e4e
feat(openclaw): patrol/exploration skill with loop-based skill sync
2026-08-04 01:32:13 +08:00
sinohqb
739d586aec
feat(backend): v0.4 triggered_by tracking, login gate, compare guard, dashboard stats
...
- EvalRun.triggered_by 全链路（manual/ai_assistant/cli）+ 迁移 b7d4e6f81c22
- 标准 agenteval-run SKILL.md 纳入版本管理，deploy 脚本同步 + API Key 注入
- 简单登录：AGENTEVAL_ADMIN_PASSWORD + HMAC 会话 token，require_auth 双凭据
- 对比报告限同场景（400）+ 空 results 误判修复
- /api/stats/dashboard 扩展聚合；/api/runs 返回场景/对象名
- 测试 218 → 232
2026-07-28 17:40:54 +08:00
sinohqb
e0b69fa2b9
v0.4-t1t2: 测试覆盖率 62%→77% + UTC 时区根本修复
...
## T1: P0 测试补全（+67 个测试）
- test_utils_llm.py: extract_reply_text / extract_content_from_llm_response / parse_json_from_llm_text 各边界
- test_file_repository.py: 分类 CRUD / 树形结构 / 级联删除 / 文件创建/查询/删除/物理文件清理
- test_report.py: generate_report / generate_compare_report / render_markdown / render_json
- test_llm_score.py: OpenAI 格式 / Anthropic content-block 格式 / JSON 回退解析 / 异常降级
## T2: P1 测试补全（+28 个测试）
- test_scenarios.py: 模板列表/字段完整性/规则类型有效性 + YAML/JSON 加载/校验
- test_webhook.py: 未配置不发送 / 正确 payload / secret header / 异常静默忽略
- test_reports_api.py: GET /reports/{id} / /html / /json / /markdown / /compare 集成测试
## UTC 时区根本修复
- storage/db.py: 新增 iso_utc() 函数，确保所有 datetime 序列化输出带 Z 后缀
- runs.py / files.py / report.py: 6 处 .isoformat() → iso_utc()
- 前端 toDate() 兜底仍保留（向下兼容），但后端不再输出无时区时间戳
Co-Authored-By: Claude <noreply@anthropic.com>
2026-07-17 14:19:16 +08:00
sinohqb
349200e51f
v0.3-s3: Webhook + OpenClaw HTTP Skill + Markdown/对比报告
...
## Webhook 通知（S3-1）
- settings.py: 增加 AGENTEVAL_WEBHOOK_URL / AGENTEVAL_WEBHOOK_SECRET
- utils/webhook.py: send_run_webhook()，非阻断，任何异常仅 warning log
- runs.py: run 完成后自动触发 webhook（payload 含 run_id/status/summary/report_url）
- .env.example: 新增 webhook 配置示例
## OpenClaw Skill HTTP 改造（S3-2）
- plugins/openclaw/agenteval_skill.py: 完全重写
- 改用 HTTP API（POST /api/runs + GET /api/runs/{id} 轮询 + GET /api/reports/{id}）
- 移除 subprocess + CLI 依赖
- 轮询等待至 completed/failed，支持配置 poll_interval / timeout
- 返回结构化中文摘要（summary_text），直接可用于 OpenClaw 对话展示
## Markdown 报告导出（S3-3）
- report.py: render_markdown_report() — 完整的 Markdown 表格 + 对话展示
- save_report: 支持 fmt="markdown"，输出 .md 文件
- reports.py: GET /api/reports/{run_id}/markdown，Content-Disposition 附件下载
- api.ts: reportsApi.markdownUrl()
- Reports.tsx: 「导出 MD」按钮
## 对比报告（S3-4）
- report.py: generate_compare_report(run_id_1, run_id_2)
- run_a / run_b 汇总 + delta（pass_rate / passed_cases / passed_rules）
- case-level diff，标记 changed 用例
- reports.py: GET /api/reports/compare?run1=&run2=
- api.ts: reportsApi.compare()
- Reports.tsx: 完整对比视图
- Segmented 切换「单次报告」/「对比报告」
- 双 Select（报告 A vs B）+ 对比按钮
- 汇总 delta card（pass_rate 变化 + 变化用例数徽章）
- 用例对比表（通过/失败/改善↑/退步↓）+ 展开规则明细
Co-Authored-By: Claude <noreply@anthropic.com>
2026-07-17 11:44:54 +08:00
sinohqb
a77cd83e6a
v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复
...
## 新增功能
- 文件管理模块：分类树 + 文件上传/下载/删除
- 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式）
## 页面布局统一（参照评测执行页）
- 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局
- 统一内联页头样式（h2 + 竖线分隔 + 描述）
- 表格撑满高度、overflow 处理
- 每页添加刷新按钮
## Bug 修复
- 分类树操作按钮 hover 不可见（CSS 规则缺失）
- 文件上传失败（multipart boundary 缺失）
- LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response）
- response_time_max_ms 被静默忽略（隐式规则传空 params）
- 空 messages 导致 IndexError 崩溃
- poll_reply 异常中止整个 run（缺 try/catch）
- engine finally 未关闭 session
- 3 个页面 UTC 时间戳解析偏差 8 小时
## 后端
- EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭
- LLM API 响应解析支持 content-block-array 格式
- 隐式 response_time 规则正确传递 max_ms 参数
## 前端
- api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary）
- Files.tsx: customRequest 替代 beforeUpload、布局优化
- index.css: 分类树 hover 规则
- Targets/Scenarios/Home/Reports: 全高布局改造
- 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差）
Co-Authored-By: Claude <noreply@anthropic.com>
2026-07-16 15:25:22 +08:00
