12481cd1b8
## 核心变更
### 规则层全面异步化（DEBT-1）
- EvalRule.evaluate() 签名改为 async def，全量同步改造（无兼容层）
- LlmScoreRule._call_llm: requests.post → httpx.AsyncClient，彻底消除事件循环阻塞
- engine._save_rule_results: rule.evaluate() → await rule.evaluate()
### 工具函数去重（DEBT-2）
- 新建 agenteval/utils/llm.py，统一三个函数：
- extract_reply_text (原 5 处重复)
- extract_content_from_llm_response (原 2 处重复)
- parse_json_from_llm_text (统一 LLM 输出 JSON 解析)
- engine.py / llm_score.py / runs.py / report.py 全部切换到 utils.llm
### HTTP 通用通道（S1-3）
- 新建 channels/http.py (HttpChannel)
- 配置化 send_url / reply_url 模板 ({message}, {msg_id} 占位)
- dot-path 提取 msg_id 和 reply_text
- 可选 reply_ready_path 就绪标志
- 长连接 AsyncClient 复用
- ChannelFactory 注册 ChannelType.HTTP → HttpChannel
### 测试
- 新增 tests/unit/test_http_channel_and_rules.py (19 个测试)
- _get_path / health_check / send / poll_reply / 超时 / 就绪标志 / async 规则评估
- 测试总数：24 → 43，全部通过
Co-Authored-By: Claude <noreply@anthropic.com>
|
||
|---|---|---|
| .. | ||
| api-reference | ||
| deployment | ||
| external-references/tutu-api | ||
| guides | ||
| architecture-v1.0.md | ||
| data-models-v1.0.md | ||
| dev-log-20260715.md | ||
| evaluation-workflow.md | ||
| plan-v0.3.md | ||
| README.md | ||
| release-notes-v0.2.md | ||
| release-notes-v1.1.md | ||
| requirements-v1.0.md | ||
AgentEvalTool 文档索引
版本: v1.0
日期: 2026-07-09
状态: 已发布
作者: AgentEval Team
一、简介
AgentEvalTool 是一个智能体质量评估工具集平台，用于评估 AI 数字员工（大模型 + RAG）和 AI 助手（OpenClaw）的服务质量、效率与安全性。
本文档集提供完整的项目文档，包括需求分析、架构设计、API 参考、部署指南和使用指南。
二、文档目录
2.1 核心文档
| 文档 | 说明 | 链接 |
|---|---|---|
| 需求分析 | 项目背景、功能需求、验证标准 | requirements-v1.0.md |
| 架构设计 | 系统架构、核心抽象、项目结构 | architecture-v1.0.md |
| 数据模型 | 数据库表结构、模型关系 | data-models-v1.0.md |
2.2 API 参考
| 文档 | 说明 | 链接 |
|---|---|---|
| CLI 命令参考 | 所有 CLI 命令的详细用法 | api-reference/cli-v1.0.md |
| Web API 参考 | REST API 接口文档 | api-reference/web-api-v1.0.md |
2.3 部署文档
| 文档 | 说明 | 链接 |
|---|---|---|
| 部署概览 | 部署方式、环境要求、运维指南 | deployment/README.md |
| t480 部署指南 | t480 测试服务器具体部署步骤 | deployment/t480-v1.0.md |
2.4 使用指南
| 文档 | 说明 | 链接 |
|---|---|---|
| 快速开始 | 5 分钟完成首次评测 | guides/quick-start-v1.0.md |
| 用户使用指南 | 详细功能说明和最佳实践 | guides/user-guide-v1.0.md |
2.5 版本发布说明
| 文档 | 说明 | 链接 |
|---|---|---|
| V1.1 发布说明 | 前端重构、后端增强、关键 Bug 修复 | release-notes-v1.1.md |
| V0.2 发布说明 | async 引擎、安全基线、测试基线、部署规范化 | release-notes-v0.2.md |
2.6 开发日志
| 文档 | 说明 | 链接 |
|---|---|---|
| 2026-07-15 评测执行页改版 | 布局修复、Tab 滚动、时区 Bug、时间过滤、UI 全面改版 | dev-log-20260715.md |
2.6 外部参考
| 文档 | 说明 | 位置 |
|---|---|---|
| tutu-api 参考 | tutu-api 接口文档 | docs/external-references/tutu-api/ |
三、快速导航
3.1 我是新用户
3.2 我是开发者
- 阅读 架构设计文档 了解系统设计
- 阅读 数据模型文档 了解数据结构
- 参考 CLI 命令参考 和 Web API 参考
- 查看源代码和测试用例
3.3 我是运维人员
3.4 我要集成 OpenClaw
四、版本说明
- 当前版本: v0.2.0-dev
- 发布日期: 2026-07-14
- 状态: 开发中（t480 开发线运行）
所有文档均标注版本号，便于追踪和管理。版本发布说明见 release-notes-v1.1.md。
五、文档规范
5.1 版本管理
- 文件名包含版本号（如
architecture-v1.0.md） - 文档头部包含版本元数据
- 重大变更时更新版本号
5.2 文档结构
每个文档包含：
- 版本元数据（版本、日期、状态、作者）
- 清晰的章节结构
- 代码示例和配置说明
- 故障排查和最佳实践
5.3 更新流程
- 修改文档内容
- 更新版本号和日期（如有必要）
- 更新本文档索引（如有新增文档）
- 提交代码审查
六、反馈与支持
如有文档问题或建议：
- 提交 Issue
- 联系 AgentEval Team
最后更新: 2026-07-15