上线验收报告 go/no-go 结论调研 #20

New Issue

solahqb · 2026-08-25T05:55:31Z

solahqb commented

2026-08-25 05:55:31 +00:00

背景

Wayfinder #13 差距分析（#17）识别的 P0 差距。

需求

上线验收报告需要包含明确的 go/no-go 结论（如"通过率 95%，达标，建议上线"）。

调研问题

现有报告格式（HTML/Markdown/JSON）是否支持结论性判断？
如何定义"达标"阈值（可配置还是固定）？
go/no-go 结论的生成逻辑（基于哪些指标）？

输出

技术方案文档，包含实现路径和工作量估算。

## 背景 [Wayfinder #13](https://git.solahqb22.cn/solahqb/AgentEvalTool/issues/13) 差距分析（[#17](https://git.solahqb22.cn/solahqb/AgentEvalTool/issues/17)）识别的 P0 差距。 ## 需求上线验收报告需要包含明确的 go/no-go 结论（如"通过率 95%，达标，建议上线"）。 ## 调研问题 - 现有报告格式（HTML/Markdown/JSON）是否支持结论性判断？ - 如何定义"达标"阈值（可配置还是固定）？ - go/no-go 结论的生成逻辑（基于哪些指标）？ ## 输出技术方案文档，包含实现路径和工作量估算。

solahqb added the

priority:P0

label 2026-08-25 05:55:31 +00:00

solahqb commented

2026-08-25 06:23:30 +00:00

Resolution

调研完成，详见 research/go-no-go-report.md（分支 research/go-no-go-report，commit 5827c3d）。

关键发现：

现有报告不支持结论性判断：三套报告管线（Run/Campaign/IntelligentEval）均只输出原始指标数字，无 go/no-go 逻辑。
基础设施已就绪：judged_pass_rate、pass_rate、avg_latency_ms、availability 等关键指标已由引擎计算并持久化到 RunSummary，go/no-go 只需在读路径上增加一层阈值比对。
推荐方案：
- 新增纯函数模块 evaluation/go_no_go.py
- 三级阈值配置：全局默认（Settings）-> 场景级（Scenario）-> 运行级（EvalRun）
- 三级结论：go（全部达标）/ no_go（核心未达标）/ conditional（核心达标但有风险）
- 在现有报告 API 中自动附带 verdict
工作量估算：总计 8 人天（后端 5 + 前端 2.5 + 联调 0.5），MVP 阶段可压缩到 5 人天。

## Resolution 调研完成，详见 [research/go-no-go-report.md](https://git.solahqb22.cn/solahqb/AgentEvalTool/blob/research/go-no-go-report/research/go-no-go-report.md)（分支 `research/go-no-go-report`，commit 5827c3d）。 **关键发现**： 1. **现有报告不支持结论性判断**：三套报告管线（Run/Campaign/IntelligentEval）均只输出原始指标数字，无 go/no-go 逻辑。 2. **基础设施已就绪**：`judged_pass_rate`、`pass_rate`、`avg_latency_ms`、`availability` 等关键指标已由引擎计算并持久化到 `RunSummary`，go/no-go 只需在读路径上增加一层阈值比对。 3. **推荐方案**： - 新增纯函数模块 `evaluation/go_no_go.py` - 三级阈值配置：全局默认（Settings）-> 场景级（Scenario）-> 运行级（EvalRun） - 三级结论：`go`（全部达标）/ `no_go`（核心未达标）/ `conditional`（核心达标但有风险） - 在现有报告 API 中自动附带 verdict 4. **工作量估算**：总计 8 人天（后端 5 + 前端 2.5 + 联调 0.5），MVP 阶段可压缩到 5 人天。

solahqb closed this issue

2026-08-25 06:23:31 +00:00

solahqb referenced this issue

2026-08-25 06:23:42 +00:00

Wayfinder: AgentEvalTool 价值评估与决策 #13

solahqb referenced this issue from a commit

2026-08-25 06:29:40 +00:00

docs(research): go/no-go 验收报告技术方案调研

solahqb referenced this issue from a commit

2026-08-25 06:29:40 +00:00

feat(report): 上线验收报告 go/no-go 结论

solahqb referenced a pull request that will close this issue