349200e51f
## Webhook 通知（S3-1）
- settings.py: 增加 AGENTEVAL_WEBHOOK_URL / AGENTEVAL_WEBHOOK_SECRET
- utils/webhook.py: send_run_webhook()，非阻断，任何异常仅 warning log
- runs.py: run 完成后自动触发 webhook（payload 含 run_id/status/summary/report_url）
- .env.example: 新增 webhook 配置示例
## OpenClaw Skill HTTP 改造（S3-2）
- plugins/openclaw/agenteval_skill.py: 完全重写
- 改用 HTTP API（POST /api/runs + GET /api/runs/{id} 轮询 + GET /api/reports/{id}）
- 移除 subprocess + CLI 依赖
- 轮询等待至 completed/failed，支持配置 poll_interval / timeout
- 返回结构化中文摘要（summary_text），直接可用于 OpenClaw 对话展示
## Markdown 报告导出（S3-3）
- report.py: render_markdown_report() — 完整的 Markdown 表格 + 对话展示
- save_report: 支持 fmt="markdown"，输出 .md 文件
- reports.py: GET /api/reports/{run_id}/markdown，Content-Disposition 附件下载
- api.ts: reportsApi.markdownUrl()
- Reports.tsx: 「导出 MD」按钮
## 对比报告（S3-4）
- report.py: generate_compare_report(run_id_1, run_id_2)
- run_a / run_b 汇总 + delta（pass_rate / passed_cases / passed_rules）
- case-level diff，标记 changed 用例
- reports.py: GET /api/reports/compare?run1=&run2=
- api.ts: reportsApi.compare()
- Reports.tsx: 完整对比视图
- Segmented 切换「单次报告」/「对比报告」
- 双 Select（报告 A vs B）+ 对比按钮
- 汇总 delta card（pass_rate 变化 + 变化用例数徽章）
- 用例对比表（通过/失败/改善↑/退步↓）+ 展开规则明细
Co-Authored-By: Claude <noreply@anthropic.com>
|
||
|---|---|---|
| .. | ||
| agenteval_skill.py | ||
| README.md | ||
OpenClaw 插件 for AgentEvalTool
本目录提供 OpenClaw 调用 AgentEvalTool 的示例技能，使 OpenClaw 能够自闭环完成评测策略设计。
设计原则
- AgentEvalTool 作为独立的 CLI 工具集存在，负责：
- 评测对象管理
- 评测场景管理
- 评测执行与原始数据收集
- 评估分析与报告生成
- OpenClaw 通过本插件调用
agentevalCLI，负责：- 评测策略编排（选择对象、场景、触发时机）
- 定时调度（OpenClaw 自身的 cron + skill 机制）
- 结果通知与后续动作
前置条件
- 已安装 AgentEvalTool CLI：
pip install -e /path/to/AgentEvalTool agenteval命令已在 PATH 中可用。- 已通过
agenteval target add注册评测对象。 - 已通过
agenteval scenario import导入评测场景。
接入方式
方式一：直接调用 CLI（推荐）
在 OpenClaw Skill 中直接调用系统命令：
import subprocess
# 触发评测
subprocess.run([
"agenteval", "run", "start",
"--target-id", "<target-id>",
"--scenario-id", "<scenario-id>",
], check=True)
# 获取报告（需要在运行输出中解析 run_id）
report = subprocess.check_output([
"agenteval", "report", "show", "<run-id>", "--format", "json",
])
方式二：使用本目录封装的 Skill
参考 agenteval_skill.py，在 OpenClaw 中注册技能时传入配置：
{
"target_id": "<target-id>",
"scenario_id": "<scenario-id>",
"report_format": "json"
}
OpenClaw 定时评测示例
OpenClaw 的 cron 配置（具体格式以 OpenClaw 平台为准）：
skill: agenteval_skill
schedule: "0 9 * * *" # 每天早上 9 点执行
config:
target_id: "<target-id>"
scenario_id: "<scenario-id>"
report_format: "json"
CLI 返回的 run_id 解析
agenteval run start 成功后会输出：
评测完成: run_id=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx, status=completed
OpenClaw Skill 需要从 stdout 中提取 run_id，然后调用 agenteval report show <run_id> 获取报告。
扩展建议
- 可以在 OpenClaw Skill 中根据报告结果触发告警、创建工单或通知相关人员。
- 可以将报告推送到企业微信、钉钉、邮件等通道。