质量监控仪表盘历史趋势调研 #23

New Issue

solahqb · 2026-08-25T05:55:57Z

solahqb commented

2026-08-25 05:55:57 +00:00

背景

Wayfinder #13 差距分析（#17）识别的 P1 差距。

需求

质量监控仪表盘需要展示历史趋势（如过去 7 天的质量指标趋势图）。

调研问题

现有 Web 仪表盘是否支持历史数据聚合？
需要哪些趋势指标（通过率、平均延迟、成本…）？
数据聚合和存储方案（实时计算 vs 预聚合）？

输出

技术方案文档，包含实现路径和工作量估算。

## 背景 [Wayfinder #13](https://git.solahqb22.cn/solahqb/AgentEvalTool/issues/13) 差距分析（[#17](https://git.solahqb22.cn/solahqb/AgentEvalTool/issues/17)）识别的 P1 差距。 ## 需求质量监控仪表盘需要展示历史趋势（如过去 7 天的质量指标趋势图）。 ## 调研问题 - 现有 Web 仪表盘是否支持历史数据聚合？ - 需要哪些趋势指标（通过率、平均延迟、成本…）？ - 数据聚合和存储方案（实时计算 vs 预聚合）？ ## 输出技术方案文档，包含实现路径和工作量估算。

solahqb added the

priority:P1

label 2026-08-25 05:55:57 +00:00

solahqb commented

2026-08-25 07:49:42 +00:00

Resolution

调研完成，详见 research/dashboard-trends.md（分支 research/dashboard-trends）。

关键发现：

现有仪表盘已有基础趋势支持：Home.tsx 已展示 30 天通过率趋势折线图，后端 /stats/trend?days=30 端点按日聚合，但只返回 pass_rate 和 run_count，丢弃了 aggregate_runs() 已计算的 availability 和 avg_latency_ms。
趋势指标已就绪：aggregate_runs()（ADR-0004）已计算四个指标：pass_rate、avg_latency_ms、availability、run_count。Campaign 模块的 CampaignTrendBucket 已证明此模式可行。
实时计算足够：在典型数据量（数百到低千级 runs）下，从 SQLite 实时计算仍然快速（<100ms）。预聚合会违背 ADR-0004 的单一接缝原则，增加不必要的复杂性。
无需新图表库：@ant-design/charts v2.6.7 已安装，提供 Line、Area、Column、DualAxes、Pie 等所有需要的图表类型。
工作量估算：
- Phase 1：扩展趋势 API + 添加延迟/体积图表 + 时间范围选择器 — ~3 人天
- Phase 2：按场景趋势 + 规则类型分解 — ~4 人天
- Phase 3：百分位延迟 + LLM 评分分布 — ~3 人天

推荐方案：从 Phase 1 开始，扩展 /stats/trend 停止丢弃 availability 和 avg_latency_ms，添加时间范围选择器（7d/14d/30d/90d），新增 2-3 个图表卡片（延迟趋势、运行体积）。遵循所有现有模式（ADR-0004、ADR-0005、Campaign 先例），零新依赖。

## Resolution 调研完成，详见 [research/dashboard-trends.md](https://git.solahqb22.cn/solahqb/AgentEvalTool/blob/research/dashboard-trends/research/dashboard-trends.md)（分支 `research/dashboard-trends`）。 **关键发现**： 1. **现有仪表盘已有基础趋势支持**：`Home.tsx` 已展示 30 天通过率趋势折线图，后端 `/stats/trend?days=30` 端点按日聚合，但只返回 `pass_rate` 和 `run_count`，丢弃了 `aggregate_runs()` 已计算的 `availability` 和 `avg_latency_ms`。 2. **趋势指标已就绪**：`aggregate_runs()`（ADR-0004）已计算四个指标：pass_rate、avg_latency_ms、availability、run_count。Campaign 模块的 `CampaignTrendBucket` 已证明此模式可行。 3. **实时计算足够**：在典型数据量（数百到低千级 runs）下，从 SQLite 实时计算仍然快速（<100ms）。预聚合会违背 ADR-0004 的单一接缝原则，增加不必要的复杂性。 4. **无需新图表库**：`@ant-design/charts` v2.6.7 已安装，提供 Line、Area、Column、DualAxes、Pie 等所有需要的图表类型。 5. **工作量估算**： - Phase 1：扩展趋势 API + 添加延迟/体积图表 + 时间范围选择器 — ~3 人天 - Phase 2：按场景趋势 + 规则类型分解 — ~4 人天 - Phase 3：百分位延迟 + LLM 评分分布 — ~3 人天 **推荐方案**：从 Phase 1 开始，扩展 `/stats/trend` 停止丢弃 `availability` 和 `avg_latency_ms`，添加时间范围选择器（7d/14d/30d/90d），新增 2-3 个图表卡片（延迟趋势、运行体积）。遵循所有现有模式（ADR-0004、ADR-0005、Campaign 先例），零新依赖。

solahqb closed this issue

2026-08-25 07:49:43 +00:00

solahqb referenced this issue

2026-08-25 07:50:12 +00:00

Wayfinder: AgentEvalTool 价值评估与决策 #13

Sign in to join this conversation.