AgentEvalTool

solahqb/AgentEvalTool

Fork 0

Commit Graph

Author	SHA1	Message	Date
sinohqb	2f09ee2bfc	refactor(v1.3.1): Phase 3 报告横幅、评分逻辑收敛与成本闭环 All checks were successful CI / test (pull_request) Successful in 3m58s Details - 报告渲染 Go/No-Go 上线评估横幅（HTML 彩色 banner + Markdown 引用块） - 抽取 scored_llm 共享模块：llm_score / fluency 直连调用与评分解析收敛 - 网关新增 chat_with_usage / embed_with_usage，规则按次归集 llm_usage - 引擎分岗位用量归集（judge/generator/embedding/moderation）写入 RunSummary.eval_usage_by_purpose，并发下不做总量差值 - cost_tracking 重构：data/model_pricing.json 覆盖 + 默认计价表，删除从未有数据支撑的 Turn 维度成本函数（偏差说明见 PR） - 报告 summary 增加 eval_cost 分岗位成本段并在 Markdown 渲染	2026-08-26 01:59:20 +08:00
sinohqb	56c56a7b4a	feat: 成本效率跟踪基础设施 All checks were successful CI / test (pull_request) Successful in 4m9s Details 新增成本跟踪模块，为对话级和任务级成本计算提供基础。 - Turn 模型新增 prompt_tokens、completion_tokens、total_tokens 字段 - OpenAI 协议适配器新增 parse_usage() 提取 token 使用量 - 新增 evaluation/cost_tracking.py 模块： - ModelPricing：模型定价配置 - TokenUsage：token 使用量聚合 - CostBreakdown：成本明细 - calculate_cost()：根据 token 使用量和定价计算费用 - calculate_turn_cost()、calculate_case_cost()、calculate_run_cost() - 内置常见模型定价（GPT-4o、GPT-4o-mini、Claude 等） - 新增 11 项单元测试（677 tests passed）注：引擎集成（实际捕获 API 调用的 token 使用量）留待后续实现。 Closes #25	2026-08-25 16:07:08 +08:00

Author

SHA1

Message

Date

sinohqb

2f09ee2bfc

refactor(v1.3.1): Phase 3 报告横幅、评分逻辑收敛与成本闭环

CI / test (pull_request) Successful in 3m58s

Details

- 报告渲染 Go/No-Go 上线评估横幅（HTML 彩色 banner + Markdown 引用块）
- 抽取 scored_llm 共享模块：llm_score / fluency 直连调用与评分解析收敛
- 网关新增 chat_with_usage / embed_with_usage，规则按次归集 llm_usage
- 引擎分岗位用量归集（judge/generator/embedding/moderation）写入
  RunSummary.eval_usage_by_purpose，并发下不做总量差值
- cost_tracking 重构：data/model_pricing.json 覆盖 + 默认计价表，
  删除从未有数据支撑的 Turn 维度成本函数（偏差说明见 PR）
- 报告 summary 增加 eval_cost 分岗位成本段并在 Markdown 渲染

2026-08-26 01:59:20 +08:00

sinohqb

56c56a7b4a

feat: 成本效率跟踪基础设施

CI / test (pull_request) Successful in 4m9s

Details

新增成本跟踪模块，为对话级和任务级成本计算提供基础。

- Turn 模型新增 prompt_tokens、completion_tokens、total_tokens 字段
- OpenAI 协议适配器新增 parse_usage() 提取 token 使用量
- 新增 evaluation/cost_tracking.py 模块：
  - ModelPricing：模型定价配置
  - TokenUsage：token 使用量聚合
  - CostBreakdown：成本明细
  - calculate_cost()：根据 token 使用量和定价计算费用
  - calculate_turn_cost()、calculate_case_cost()、calculate_run_cost()
- 内置常见模型定价（GPT-4o、GPT-4o-mini、Claude 等）
- 新增 11 项单元测试（677 tests passed）

注：引擎集成（实际捕获 API 调用的 token 使用量）留待后续实现。

Closes #25

2026-08-25 16:07:08 +08:00

2 Commits