AgentEvalTool

solahqb/AgentEvalTool

Fork 0

Commit Graph

Author	SHA1	Message	Date
sinohqb	bf1ec16ef6	perf(eval): case/rule/campaign 并发执行 - EvalEngine case 循环改 asyncio.gather + semaphore（默认 3 并发） - 规则评估并行（默认 5 并发），LLM 评分耗时从串行求和降为最慢一条 - _resolve_model 改 async + 双重检查锁，保护共享模型缓存 - _case_errors / case_outcomes 并发写入加状态锁 - Campaign occurrence 派生并行（默认 2 并发），claim 拒绝时提前收敛 - 新增配置：max_concurrent_cases=3 / max_concurrent_rules=5 / max_concurrent_runs=2 SQLite StaticPool 单连接下 DB 写入仍天然串行，并行收益集中在 channel I/O 与 LLM 调用的等待重叠。	2026-08-24 23:18:11 +08:00
sinohqb	3705945a7d	test: 完整测试覆盖补全（+163 用例）架构重构（候选 1-6）： - storage/repository.py 按域拆分为包（target/scenario/run/campaign/result） - storage/db.py 按域拆分为包（eval/campaign/file/model_config/intelligent_eval） - intelligent_eval/lifecycle.py 按状态机阶段拆分为包 - services/runs.py 编排逻辑下沉 - Campaigns.tsx 拆分为 campaigns/ 子组件测试补全（候选 7）：前端（+125 用例，107→232）： - utils/ 纯函数：date/campaignTime/ruleLabels/fileTree/fileFormat/colors - stores/tabStore 状态管理 - 核心组件：FormDrawer/PageWrapper/ChatBubble/GeneratedMessages/SectionHeader/StatCard/TurnList - 业务组件：CaseBlock/CaseDetail/RuleOverview/WindowTimeline/RunList/TabBar/CampaignRunTimeline - 文件管理：FileCategoryTree/FileTable - hooks：sessionReducer/useFiles/useRunSession 后端（+38 用例，916→954）： - targets API CRUD + 404 路径 - WebSocket 连接管理器 - proxy 头部重写（CSP/X-Frame-Options） - target 仓储 update 方法 - app 健康检查 + SPA 404 - scenarios 模板端点 + 404 - files API 边缘分支（404 场景 + 500 兜底） - files service update_category - 智能评估状态机迁移测试门禁状态： - 前端：tsc 干净 + 232 passed - 后端：954 passed + ruff 全绿	2026-08-24 15:56:09 +08:00

Author

SHA1

Message

Date

sinohqb

bf1ec16ef6

perf(eval): case/rule/campaign 并发执行

- EvalEngine case 循环改 asyncio.gather + semaphore（默认 3 并发）
- 规则评估并行（默认 5 并发），LLM 评分耗时从串行求和降为最慢一条
- _resolve_model 改 async + 双重检查锁，保护共享模型缓存
- _case_errors / case_outcomes 并发写入加状态锁
- Campaign occurrence 派生并行（默认 2 并发），claim 拒绝时提前收敛
- 新增配置：max_concurrent_cases=3 / max_concurrent_rules=5 / max_concurrent_runs=2

SQLite StaticPool 单连接下 DB 写入仍天然串行，并行收益集中在
channel I/O 与 LLM 调用的等待重叠。

2026-08-24 23:18:11 +08:00

sinohqb

3705945a7d

test: 完整测试覆盖补全（+163 用例）

架构重构（候选 1-6）：
- storage/repository.py 按域拆分为包（target/scenario/run/campaign/result）
- storage/db.py 按域拆分为包（eval/campaign/file/model_config/intelligent_eval）
- intelligent_eval/lifecycle.py 按状态机阶段拆分为包
- services/runs.py 编排逻辑下沉
- Campaigns.tsx 拆分为 campaigns/ 子组件

测试补全（候选 7）：
前端（+125 用例，107→232）：
- utils/ 纯函数：date/campaignTime/ruleLabels/fileTree/fileFormat/colors
- stores/tabStore 状态管理
- 核心组件：FormDrawer/PageWrapper/ChatBubble/GeneratedMessages/SectionHeader/StatCard/TurnList
- 业务组件：CaseBlock/CaseDetail/RuleOverview/WindowTimeline/RunList/TabBar/CampaignRunTimeline
- 文件管理：FileCategoryTree/FileTable
- hooks：sessionReducer/useFiles/useRunSession

后端（+38 用例，916→954）：
- targets API CRUD + 404 路径
- WebSocket 连接管理器
- proxy 头部重写（CSP/X-Frame-Options）
- target 仓储 update 方法
- app 健康检查 + SPA 404
- scenarios 模板端点 + 404
- files API 边缘分支（404 场景 + 500 兜底）
- files service update_category
- 智能评估状态机迁移测试

门禁状态：
- 前端：tsc 干净 + 232 passed
- 后端：954 passed + ruff 全绿

2026-08-24 15:56:09 +08:00

2 Commits