## 新增功能 - 文件管理模块:分类树 + 文件上传/下载/删除 - 文件上传支持拖拽(Dragger)+ 手动上传(customRequest 模式) ## 页面布局统一(参照评测执行页) - 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局 - 统一内联页头样式(h2 + 竖线分隔 + 描述) - 表格撑满高度、overflow 处理 - 每页添加刷新按钮 ## Bug 修复 - 分类树操作按钮 hover 不可见(CSS 规则缺失) - 文件上传失败(multipart boundary 缺失) - LLM API 响应 content blocks 数组格式支持(_extract_content_from_api_response) - response_time_max_ms 被静默忽略(隐式规则传空 params) - 空 messages 导致 IndexError 崩溃 - poll_reply 异常中止整个 run(缺 try/catch) - engine finally 未关闭 session - 3 个页面 UTC 时间戳解析偏差 8 小时 ## 后端 - EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭 - LLM API 响应解析支持 content-block-array 格式 - 隐式 response_time 规则正确传递 max_ms 参数 ## 前端 - api.ts: 移除手动 Content-Type(让浏览器自动添加 boundary) - Files.tsx: customRequest 替代 beforeUpload、布局优化 - index.css: 分类树 hover 规则 - Targets/Scenarios/Home/Reports: 全高布局改造 - 3 个页面时间戳改用 formatDateTime()(修复 UTC 偏差) Co-Authored-By: Claude <noreply@anthropic.com>
3.0 KiB
3.0 KiB
AgentEvalTool 快速开始指南
版本: v1.0
日期: 2026-07-09
状态: 已发布
作者: AgentEval Team
一、简介
AgentEvalTool 是一个智能体质量评估工具集平台,用于评估 AI 数字员工和 AI 助手的服务质量。本指南帮助你在 5 分钟内完成首次评测。
二、前置要求
- Python 3.10+
- Node.js 18+(如需 Web 界面)
- tutu-api 配置文件(包含 token 等连接信息)
三、安装
3.1 安装后端
# 克隆项目
git clone <repository-url>
cd AgentEvalTool
# 安装依赖(editable 模式)
pip install -e ".[dev]"
3.2 配置 tutu-api
创建配置文件 config/config.json:
{
"base_url": "https://api.example.com",
"token": "your-jwt-token",
"tenant": "your-tenant-id",
"chat_channel_id": "your-channel-id",
"chat_contact_id": "your-contact-id"
}
注意:token 有效期为 30 天,需定期更新。
四、首次评测
4.1 添加评测对象
agenteval target add --name "社区医院AI客服" --config config/config.json
记录输出的 target-id。
4.2 导入评测场景
使用示例场景或创建自己的场景文件:
agenteval scenario import data/scenarios/health_basic.yaml
记录输出的 scenario-id。
4.3 执行评测
agenteval run start --target-id <target-id> --scenario-id <scenario-id>
评测过程会实时显示进度:
- 每个用例的执行状态
- 每轮对话的响应时间
- 每条规则的评估结果
4.4 查看报告
# JSON 格式
agenteval report show <run-id> --format json
# HTML 格式
agenteval report generate <run-id> --format html
HTML 报告保存在 data/reports/ 目录。
五、启动 Web 界面(可选)
5.1 启动后端服务
agenteval server start --host 0.0.0.0 --port 8000
5.2 启动前端开发服务器
cd frontend/web
npm install
npm run dev
访问 http://localhost:5173 查看 Web 界面。
六、验证安装
6.1 检查 CLI 安装
agenteval --help
应显示帮助信息。
6.2 检查服务健康
curl http://localhost:8000/api/health
应返回 {"status":"ok"}。
6.3 测试通道连通性
agenteval target test <target-id>
应返回"通道正常"。
七、下一步
八、常见问题
Q: 评测失败,提示"通道连接失败"
A: 检查 config/config.json 中的配置是否正确,特别是 token 是否过期。
Q: 前端无法访问
A: 确保后端服务已启动,并检查端口是否被占用。
Q: 如何查看历史评测记录
A: 使用 agenteval run list 查看所有记录,或使用 Web 界面查看。
九、获取帮助
- 查看 文档索引
- 提交 Issue 或联系 AgentEval Team