solahqb/AgentEvalTool
1
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases 1 Wiki Activity
279 Commits 13 Branches 4 Tags 6 MiB
3958cd5ce8
Commit Graph

16 Commits

Author SHA1 Message Date
sinohqb
c956da7686 feat(v1.3.1): Phase 2 让成本/放弃率/Go-No-Go 基础设施真正生效
All checks were successful
CI / test (pull_request) Successful in 4m3s
Details 
- token 用量接入：ModelGateway 经 adapter.parse_usage 累计评测侧 LLM 调用的
  token 消耗，引擎写入 run.summary.eval_token_usage，报告透出
- 放弃率落地：CaseOutcome 新增 abandoned 标记（对话中途发送/接收失败），
  build_run_summary 统计 abandoned_cases / abandonment_rate
- Go/No-Go 可配置：Scenario 新增 acceptance_criteria 字段（DB 列 + 幂等迁移），
  报告按场景标准出 verdict，缺省回退全局默认；标准变更不触发考纲升版
 2026-08-25 18:38:18 +08:00
sinohqb
bf1ec16ef6 perf(eval): case/rule/campaign 并发执行 
- EvalEngine case 循环改 asyncio.gather + semaphore（默认 3 并发）
- 规则评估并行（默认 5 并发），LLM 评分耗时从串行求和降为最慢一条
- _resolve_model 改 async + 双重检查锁，保护共享模型缓存
- _case_errors / case_outcomes 并发写入加状态锁
- Campaign occurrence 派生并行（默认 2 并发），claim 拒绝时提前收敛
- 新增配置：max_concurrent_cases=3 / max_concurrent_rules=5 / max_concurrent_runs=2

SQLite StaticPool 单连接下 DB 写入仍天然串行，并行收益集中在
channel I/O 与 LLM 调用的等待重叠。
 2026-08-24 23:18:11 +08:00
sinohqb
c896ab3f71 refactor(architecture): deepen evaluation lifecycle and read model 2026-08-07 03:11:37 +08:00
sinohqb
ffc058f951 refactor(engine): thin _run_case and _save_rule_results 
Three near-identical Turn(...)+save_turn blocks (send-fail / poll-except /
happy path) collapse into one _persist_turn helper differing only by the
optional fields set. The期望→隐式规则 translation becomes a pure,
unit-testable derive_implicit_rules seam (CONTEXT: 期望与规则叠加生效),
and the rule_type→ModelPurpose map is hoisted to a module constant.
 2026-07-31 14:59:50 +08:00
sinohqb
9c01afa79b refactor(engine): extract build_run_summary pure seam 
Single-run summary口径 (pass_rate / judged_pass_rate / avg_latency /
connectivity split) was inlined in run(), reachable only by driving a
whole async run, and report.py recomputed judged_pass_rate independently.
Extract build_run_summary — a pure function parallel to aggregate_runs
(cross-run) and combine_case_outcome (case-level). run() now collects
material and delegates; judged_pass_rate is stored in RunSummary so the
report reads it instead of recomputing.
 2026-07-31 14:20:51 +08:00
sinohqb
f433ebb970 feat(campaigns): dual-axis periodic report (time trend + capability) 
Add generate_campaign_report: a pure aggregator over a campaign's child Runs
producing a time-trend axis (Runs bucketed by service-window position) and a
capability-summary axis (grouped by scenario), each carrying pass_rate /
availability / latency. pass_rate keeps the single-Run case-level meaning and
counts execution failures as 0.0 (ADR-0002); time_scale only places Runs into
window-time buckets and never alters any figure. Engine summary now records
avg_latency_ms to feed the latency axis.

Expose GET /api/campaigns/{id}/report (structured) and .../report/markdown
(reusing the existing Markdown export path). Adds "可用性/Availability" to the
domain glossary.
 2026-07-30 13:55:32 +08:00
sinohqb
1345daddd2 feat(engine): make poll_reply timeout configurable via env
Some checks failed
CI / test (push) Failing after 45s
Details 
被评数字员工响应普遍逼近 30s 硬编码轮询超时，越线的轮次被记为无回复
（run 427b14bb round 2 实测 31.4s 超时）。新增
AGENTEVAL_POLL_REPLY_TIMEOUT（默认 30s），engine 未显式传入
timeout_config 时从 settings 取值，慢目标可放宽。
 2026-07-30 09:58:08 +08:00
sinohqb
5db0ede4f4 refactor(judgement): converge case-pass decision into one deep module
Some checks failed
CI / test (push) Failing after 50s
Details 
「用例是否通过」此前散落 8 处且互相矛盾：engine 权威判定焊死在持久化里
不可单测；report 聚合/compare/markdown 各自从规则结果反推，规则还不一致
（markdown 用 all([]) 把故障用例误渲染成 ✅）。

- 新增纯函数 evaluation/judgement.combine_case_outcome（RuleOutcome/
  CaseOutcome），判定组合脱离通道与 DB 可单测（判定矩阵 14 例）
- engine 调用它一次，逐用例权威结果写入 summary.case_outcomes（JSON，
  零迁移）；report/compare/markdown 只读权威值，老 run fallback 反推
- 故障用例判 False（ADR-0002）：修正 markdown 的 ✅ bug 与 compare 的
  None；顺带修 engine 连通用例无回复也算通过的 bug
- pass_rate 口径改为用例级（CONTEXT.md 词条），规则级保留在
  passed_rules/total_rules；CLI 对比标签同步更正
- 修 RunRepository.update 漏拷 scenario_version/triggered_by 的字段漂移
 2026-07-29 19:45:02 +08:00
sinohqb
0a47260237 feat(run): snapshot scenario version at run creation (ticket 04) 
运行创建时快照场景考纲版本，三种触发来源（手动/AI 助手/CLI）一致；
迁移回填存量运行为其场景当前版本，孤儿运行回填 1。运行列表、
报告头与对比卡片展示 v{n} 版本标签。
 2026-07-29 10:59:44 +08:00
sinohqb
5dd1bc8535 feat(engine): expectations now additive with explicit rules (ticket 01) 
期望始终派生隐式判定并与显式规则叠加执行：rule_logic 只组合显式规则，
期望是叠加其上的硬约束，任一不满足即用例不通过。隐式判定以 EvalResult
同构落库，reason 前缀 [期望] 标明来源。连通用例（无规则无期望）行为不变。
 2026-07-29 10:24:01 +08:00
sinohqb
739d586aec feat(backend): v0.4 triggered_by tracking, login gate, compare guard, dashboard stats 
- EvalRun.triggered_by 全链路（manual/ai_assistant/cli）+ 迁移 b7d4e6f81c22
- 标准 agenteval-run SKILL.md 纳入版本管理，deploy 脚本同步 + API Key 注入
- 简单登录：AGENTEVAL_ADMIN_PASSWORD + HMAC 会话 token，require_auth 双凭据
- 对比报告限同场景（400）+ 空 results 误判修复
- /api/stats/dashboard 扩展聚合；/api/runs 返回场景/对象名
- 测试 218 → 232
 2026-07-28 17:40:54 +08:00
sinohqb
470ff5875f feat(models): add centralized model configuration 2026-07-17 20:02:43 +08:00
sinohqb
867d4e3ff1 fix(engine): dynamic 生成失败原因持久化到 run.summary.case_errors 
## 背景
用户反馈动态问诊评测「执行不下去」。诊断发现：dynamic 用例的 LLM 消息
生成 API 调用失败（0.2s 瞬间 failed，凭证/参数问题），引擎正确地标记
case 失败——但失败的具体原因（如 401 详情）只 emit 到 WebSocket，从不
写入 run.summary。导致 run 记录只有 total_rules:0 failed，DB/报告查不到
任何原因，用户和排查者都无从下手。

## 修复
- EvalEngine 新增 self._case_errors 收集致命的 case 级错误
- _generate_messages 的 8 个失败点统一走 _fail() helper：既 emit 到
  WebSocket，也记录到 _case_errors（含 case_id + stage + 具体 error）
- run() 汇总时把 _case_errors 写入 summary["case_errors"]
- 新增测试：dynamic 生成失败时 summary.case_errors 必须含原因（补上
  之前 KNOWN-2 记录的 _generate_messages 测试盲区）

## 注
这不是导致失败的 bug（失败源于外部 API 凭证/参数），而是让失败「可诊断」
的可用性修复。用户需自查 llm_config 的 api_key 是否有效/model 是否被
该端点接受。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-17 16:29:51 +08:00
sinohqb
c7f1dca49d v0.3-s2: 3 个新规则 + 组合逻辑 + 33 个测试 
## 新规则（共 6 种，增加 3 种）

### semantic_similarity
- 调用 OpenAI 兼容 embedding API（asyncio.gather 并发两路请求）
- 余弦相似度与 reference 比对，min_score 可配置（默认 0.7）
- API 异常时明确返回失败原因，不隐藏错误

### json_schema
- 验证回复是否为合法 JSON（支持 markdown 代码块剥离）
- required_keys / forbidden_keys / key_types 三维校验
- dot-path 支持嵌套字段（"data.id"）
- strict_json=false 模式非阻断校验

### safety
- 双层检测：关键词黑名单（零延迟）+ 可选 moderation API
- API 不可用时自动降级黑名单，不中止评测
- 支持自定义 flagged_categories

## 规则组合逻辑（rule_logic + rule_pass_threshold）

- models.py: EvalRuleConfig 增加 weight 字段；Case 增加 rule_logic / rule_pass_threshold
- models.py: 新增 RuleLogic 枚举（all / any / weighted）
- engine._save_rule_results: 按 rule_logic 决定 case 通过/失败
  - ALL：全部通过才通过（原有行为，向下兼容）
  - ANY：至少一条通过即通过
  - WEIGHTED：加权平均分 >= rule_pass_threshold

## 测试（43 → 76，新增 33）
- test_s2_rules_and_logic.py：3 个新规则的 pass/fail/边界/API 降级 + 5 个组合逻辑集成测试

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-17 11:23:22 +08:00
sinohqb
12481cd1b8 v0.3-s1: 规则层异步化 + 工具函数去重 + HTTP 通道 
## 核心变更

### 规则层全面异步化（DEBT-1）
- EvalRule.evaluate() 签名改为 async def，全量同步改造（无兼容层）
- LlmScoreRule._call_llm: requests.post → httpx.AsyncClient，彻底消除事件循环阻塞
- engine._save_rule_results: rule.evaluate() → await rule.evaluate()

### 工具函数去重（DEBT-2）
- 新建 agenteval/utils/llm.py，统一三个函数：
  - extract_reply_text (原 5 处重复)
  - extract_content_from_llm_response (原 2 处重复)
  - parse_json_from_llm_text (统一 LLM 输出 JSON 解析)
- engine.py / llm_score.py / runs.py / report.py 全部切换到 utils.llm

### HTTP 通用通道（S1-3）
- 新建 channels/http.py (HttpChannel)
  - 配置化 send_url / reply_url 模板 ({message}, {msg_id} 占位)
  - dot-path 提取 msg_id 和 reply_text
  - 可选 reply_ready_path 就绪标志
  - 长连接 AsyncClient 复用
- ChannelFactory 注册 ChannelType.HTTP → HttpChannel

### 测试
- 新增 tests/unit/test_http_channel_and_rules.py (19 个测试)
- _get_path / health_check / send / poll_reply / 超时 / 就绪标志 / async 规则评估
- 测试总数：24 → 43，全部通过

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-17 10:52:32 +08:00
sinohqb
a77cd83e6a v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复 
## 新增功能
- 文件管理模块：分类树 + 文件上传/下载/删除
- 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式）

## 页面布局统一（参照评测执行页）
- 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局
- 统一内联页头样式（h2 + 竖线分隔 + 描述）
- 表格撑满高度、overflow 处理
- 每页添加刷新按钮

## Bug 修复
- 分类树操作按钮 hover 不可见（CSS 规则缺失）
- 文件上传失败（multipart boundary 缺失）
- LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response）
- response_time_max_ms 被静默忽略（隐式规则传空 params）
- 空 messages 导致 IndexError 崩溃
- poll_reply 异常中止整个 run（缺 try/catch）
- engine finally 未关闭 session
- 3 个页面 UTC 时间戳解析偏差 8 小时

## 后端
- EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭
- LLM API 响应解析支持 content-block-array 格式
- 隐式 response_time 规则正确传递 max_ms 参数

## 前端
- api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary）
- Files.tsx: customRequest 替代 beforeUpload、布局优化
- index.css: 分类树 hover 规则
- Targets/Scenarios/Home/Reports: 全高布局改造
- 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-16 15:25:22 +08:00