feat(v1.3.1): Phase 2 成本/放弃率/Go-No-Go 基础设施生效 #34

solahqb · 2026-08-25T10:39:27Z

solahqb commented

2026-08-25 10:39:27 +00:00

Summary

token 用量接入：ModelGateway 经协议适配器 parse_usage 累计评测侧 LLM 调用（judge/generator/embedding）的 token 消耗，引擎结束时写入 run.summary.eval_token_usage，报告 summary 透出。v1.3.0 遗留的 parse_usage 死代码就此激活
放弃率落地：CaseOutcome 新增 abandoned 标记——对话已有完成轮次但后续发送/接收失败即为放弃（首轮即失败算连通性问题，不计放弃）；build_run_summary 统计 abandoned_cases / abandonment_rate
Go/No-Go 可配置：Scenario.acceptance_criteria 新字段（scenarios 表新列 + 幂等 Alembic 迁移 3f8a2c91d4e7），generate_report 按场景标准出 verdict，缺省回退全局默认；验收标准属报告配置，变更不触发考纲升版（ADR-0001）

来源：v1.3.0 代码审查 Spec 轴「dead code / missing spec」项。

Test plan

新增 7 个测试（gateway 用量累计×2、summary 放弃统计、引擎中途失败/首轮失败×2、场景标准 roundtrip+不升版、报告 verdict 随场景标准翻转）
pytest tests/unit/ 699 passed
ruff check backend/ 全绿
alembic upgrade head 在 dev DB 验证通过

## Summary - **token 用量接入**：`ModelGateway` 经协议适配器 `parse_usage` 累计评测侧 LLM 调用（judge/generator/embedding）的 token 消耗，引擎结束时写入 `run.summary.eval_token_usage`，报告 summary 透出。v1.3.0 遗留的 `parse_usage` 死代码就此激活 - **放弃率落地**：`CaseOutcome` 新增 `abandoned` 标记——对话已有完成轮次但后续发送/接收失败即为放弃（首轮即失败算连通性问题，不计放弃）；`build_run_summary` 统计 `abandoned_cases` / `abandonment_rate` - **Go/No-Go 可配置**：`Scenario.acceptance_criteria` 新字段（`scenarios` 表新列 + 幂等 Alembic 迁移 `3f8a2c91d4e7`），`generate_report` 按场景标准出 verdict，缺省回退全局默认；验收标准属报告配置，变更不触发考纲升版（ADR-0001）来源：v1.3.0 代码审查 Spec 轴「dead code / missing spec」项。 ## Test plan - [x] 新增 7 个测试（gateway 用量累计×2、summary 放弃统计、引擎中途失败/首轮失败×2、场景标准 roundtrip+不升版、报告 verdict 随场景标准翻转） - [x] `pytest tests/unit/` 699 passed - [x] `ruff check backend/` 全绿 - [x] `alembic upgrade head` 在 dev DB 验证通过

solahqb added 1 commit 2026-08-25 10:39:28 +00:00

feat(v1.3.1): Phase 2 让成本/放弃率/Go-No-Go 基础设施真正生效

CI / test (pull_request) Successful in 4m3s

Details

c956da7686

- token 用量接入：ModelGateway 经 adapter.parse_usage 累计评测侧 LLM 调用的
  token 消耗，引擎写入 run.summary.eval_token_usage，报告透出
- 放弃率落地：CaseOutcome 新增 abandoned 标记（对话中途发送/接收失败），
  build_run_summary 统计 abandoned_cases / abandonment_rate
- Go/No-Go 可配置：Scenario 新增 acceptance_criteria 字段（DB 列 + 幂等迁移），
  报告按场景标准出 verdict，缺省回退全局默认；标准变更不触发考纲升版

solahqb merged commit 3958cd5ce8 into main

2026-08-25 10:40:35 +00:00

solahqb referenced this issue from a commit

2026-08-25 10:40:35 +00:00

Merge pull request 'feat(v1.3.1): Phase 2 成本/放弃率/Go-No-Go 基础设施生效' (#34) from feat/v1.3.1-phase2-wiring into main

Sign in to join this conversation.

No reviewers