AgentEvalTool

solahqb/AgentEvalTool

Fork 0

Commit Graph

Author	SHA1	Message	Date
sinohqb	c956da7686	feat(v1.3.1): Phase 2 让成本/放弃率/Go-No-Go 基础设施真正生效 All checks were successful CI / test (pull_request) Successful in 4m3s Details - token 用量接入：ModelGateway 经 adapter.parse_usage 累计评测侧 LLM 调用的 token 消耗，引擎写入 run.summary.eval_token_usage，报告透出 - 放弃率落地：CaseOutcome 新增 abandoned 标记（对话中途发送/接收失败）， build_run_summary 统计 abandoned_cases / abandonment_rate - Go/No-Go 可配置：Scenario 新增 acceptance_criteria 字段（DB 列 + 幂等迁移），报告按场景标准出 verdict，缺省回退全局默认；标准变更不触发考纲升版	2026-08-25 18:38:18 +08:00
sinohqb	56c56a7b4a	feat: 成本效率跟踪基础设施 All checks were successful CI / test (pull_request) Successful in 4m9s Details 新增成本跟踪模块，为对话级和任务级成本计算提供基础。 - Turn 模型新增 prompt_tokens、completion_tokens、total_tokens 字段 - OpenAI 协议适配器新增 parse_usage() 提取 token 使用量 - 新增 evaluation/cost_tracking.py 模块： - ModelPricing：模型定价配置 - TokenUsage：token 使用量聚合 - CostBreakdown：成本明细 - calculate_cost()：根据 token 使用量和定价计算费用 - calculate_turn_cost()、calculate_case_cost()、calculate_run_cost() - 内置常见模型定价（GPT-4o、GPT-4o-mini、Claude 等） - 新增 11 项单元测试（677 tests passed）注：引擎集成（实际捕获 API 调用的 token 使用量）留待后续实现。 Closes #25	2026-08-25 16:07:08 +08:00
sinohqb	cc79d3a625	feat(models): support mainstream model protocols	2026-07-17 20:58:27 +08:00

Author

SHA1

Message

Date

sinohqb

c956da7686

feat(v1.3.1): Phase 2 让成本/放弃率/Go-No-Go 基础设施真正生效

CI / test (pull_request) Successful in 4m3s

Details

- token 用量接入：ModelGateway 经 adapter.parse_usage 累计评测侧 LLM 调用的
  token 消耗，引擎写入 run.summary.eval_token_usage，报告透出
- 放弃率落地：CaseOutcome 新增 abandoned 标记（对话中途发送/接收失败），
  build_run_summary 统计 abandoned_cases / abandonment_rate
- Go/No-Go 可配置：Scenario 新增 acceptance_criteria 字段（DB 列 + 幂等迁移），
  报告按场景标准出 verdict，缺省回退全局默认；标准变更不触发考纲升版

2026-08-25 18:38:18 +08:00

sinohqb

56c56a7b4a

feat: 成本效率跟踪基础设施

CI / test (pull_request) Successful in 4m9s

Details

新增成本跟踪模块，为对话级和任务级成本计算提供基础。

- Turn 模型新增 prompt_tokens、completion_tokens、total_tokens 字段
- OpenAI 协议适配器新增 parse_usage() 提取 token 使用量
- 新增 evaluation/cost_tracking.py 模块：
  - ModelPricing：模型定价配置
  - TokenUsage：token 使用量聚合
  - CostBreakdown：成本明细
  - calculate_cost()：根据 token 使用量和定价计算费用
  - calculate_turn_cost()、calculate_case_cost()、calculate_run_cost()
- 内置常见模型定价（GPT-4o、GPT-4o-mini、Claude 等）
- 新增 11 项单元测试（677 tests passed）

注：引擎集成（实际捕获 API 调用的 token 使用量）留待后续实现。

Closes #25

2026-08-25 16:07:08 +08:00

sinohqb

cc79d3a625

feat(models): support mainstream model protocols

2026-07-17 20:58:27 +08:00

3 Commits