AgentEvalTool

solahqb/AgentEvalTool

Fork 0

Commit Graph

Author	SHA1	Message	Date
sinohqb	470ff5875f	feat(models): add centralized model configuration	2026-07-17 20:02:43 +08:00
sinohqb	12481cd1b8	v0.3-s1: 规则层异步化 + 工具函数去重 + HTTP 通道 ## 核心变更 ### 规则层全面异步化（DEBT-1） - EvalRule.evaluate() 签名改为 async def，全量同步改造（无兼容层） - LlmScoreRule._call_llm: requests.post → httpx.AsyncClient，彻底消除事件循环阻塞 - engine._save_rule_results: rule.evaluate() → await rule.evaluate() ### 工具函数去重（DEBT-2） - 新建 agenteval/utils/llm.py，统一三个函数： - extract_reply_text (原 5 处重复) - extract_content_from_llm_response (原 2 处重复) - parse_json_from_llm_text (统一 LLM 输出 JSON 解析) - engine.py / llm_score.py / runs.py / report.py 全部切换到 utils.llm ### HTTP 通用通道（S1-3） - 新建 channels/http.py (HttpChannel) - 配置化 send_url / reply_url 模板 ({message}, {msg_id} 占位) - dot-path 提取 msg_id 和 reply_text - 可选 reply_ready_path 就绪标志 - 长连接 AsyncClient 复用 - ChannelFactory 注册 ChannelType.HTTP → HttpChannel ### 测试 - 新增 tests/unit/test_http_channel_and_rules.py (19 个测试) - _get_path / health_check / send / poll_reply / 超时 / 就绪标志 / async 规则评估 - 测试总数：24 → 43，全部通过 Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-17 10:52:32 +08:00
sinohqb	a77cd83e6a	v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复 ## 新增功能 - 文件管理模块：分类树 + 文件上传/下载/删除 - 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式） ## 页面布局统一（参照评测执行页） - 仪表盘/评测对象/评测场景/评测报告全部改为全高 flex 布局 - 统一内联页头样式（h2 + 竖线分隔 + 描述） - 表格撑满高度、overflow 处理 - 每页添加刷新按钮 ## Bug 修复 - 分类树操作按钮 hover 不可见（CSS 规则缺失） - 文件上传失败（multipart boundary 缺失） - LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response） - response_time_max_ms 被静默忽略（隐式规则传空 params） - 空 messages 导致 IndexError 崩溃 - poll_reply 异常中止整个 run（缺 try/catch） - engine finally 未关闭 session - 3 个页面 UTC 时间戳解析偏差 8 小时 ## 后端 - EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭 - LLM API 响应解析支持 content-block-array 格式 - 隐式 response_time 规则正确传递 max_ms 参数 ## 前端 - api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary） - Files.tsx: customRequest 替代 beforeUpload、布局优化 - index.css: 分类树 hover 规则 - Targets/Scenarios/Home/Reports: 全高布局改造 - 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差） Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-16 15:25:22 +08:00

Author

SHA1

Message

Date

sinohqb

470ff5875f

feat(models): add centralized model configuration

2026-07-17 20:02:43 +08:00

sinohqb

12481cd1b8

v0.3-s1: 规则层异步化 + 工具函数去重 + HTTP 通道

## 核心变更

### 规则层全面异步化（DEBT-1）
- EvalRule.evaluate() 签名改为 async def，全量同步改造（无兼容层）
- LlmScoreRule._call_llm: requests.post → httpx.AsyncClient，彻底消除事件循环阻塞
- engine._save_rule_results: rule.evaluate() → await rule.evaluate()

### 工具函数去重（DEBT-2）
- 新建 agenteval/utils/llm.py，统一三个函数：
  - extract_reply_text (原 5 处重复)
  - extract_content_from_llm_response (原 2 处重复)
  - parse_json_from_llm_text (统一 LLM 输出 JSON 解析)
- engine.py / llm_score.py / runs.py / report.py 全部切换到 utils.llm

### HTTP 通用通道（S1-3）
- 新建 channels/http.py (HttpChannel)
  - 配置化 send_url / reply_url 模板 ({message}, {msg_id} 占位)
  - dot-path 提取 msg_id 和 reply_text
  - 可选 reply_ready_path 就绪标志
  - 长连接 AsyncClient 复用
- ChannelFactory 注册 ChannelType.HTTP → HttpChannel

### 测试
- 新增 tests/unit/test_http_channel_and_rules.py (19 个测试)
- _get_path / health_check / send / poll_reply / 超时 / 就绪标志 / async 规则评估
- 测试总数：24 → 43，全部通过

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-17 10:52:32 +08:00

sinohqb

a77cd83e6a

v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复

## 新增功能
- 文件管理模块：分类树 + 文件上传/下载/删除
- 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式）

## 页面布局统一（参照评测执行页）
- 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局
- 统一内联页头样式（h2 + 竖线分隔 + 描述）
- 表格撑满高度、overflow 处理
- 每页添加刷新按钮

## Bug 修复
- 分类树操作按钮 hover 不可见（CSS 规则缺失）
- 文件上传失败（multipart boundary 缺失）
- LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response）
- response_time_max_ms 被静默忽略（隐式规则传空 params）
- 空 messages 导致 IndexError 崩溃
- poll_reply 异常中止整个 run（缺 try/catch）
- engine finally 未关闭 session
- 3 个页面 UTC 时间戳解析偏差 8 小时

## 后端
- EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭
- LLM API 响应解析支持 content-block-array 格式
- 隐式 response_time 规则正确传递 max_ms 参数

## 前端
- api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary）
- Files.tsx: customRequest 替代 beforeUpload、布局优化
- index.css: 分类树 hover 规则
- Targets/Scenarios/Home/Reports: 全高布局改造
- 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差）

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-16 15:25:22 +08:00

3 Commits