feat(response_time): 支持平均延迟和吞吐量指标 #29

Merged
solahqb merged 1 commits from feat/response-time-extended into main 2026-08-25 08:01:44 +00:00
Owner

Summary

扩展 response_time 规则,支持多维度延迟和吞吐量测量。

Changes

  • 新增 avg_latency_max_ms:多轮对话平均延迟阈值
  • 新增 throughput_min:最低吞吐量(turns/min)
  • 保持 max_ms 向后兼容:单轮延迟阈值
  • RuleResult.details 包含延迟统计(avg/min/max/latencies)
  • 新增 10 项单元测试(656 tests passed)

Configuration Example

rules:
  - type: response_time
    params:
      max_ms: 5000              # 单轮延迟阈值(向后兼容)
      avg_latency_max_ms: 3000  # 平均延迟阈值
      throughput_min: 10        # 最低吞吐量(turns/min)

Note

首字延迟(first token latency)需要流式数据支持,当前 Turn 模型未提供,留待后续增强。

Test plan

  • 单元测试通过(656 tests)
  • 向后兼容验证(单轮 max_ms)
  • 平均延迟测试
  • 吞吐量测试
  • 多指标组合测试

Closes #21

## Summary 扩展 `response_time` 规则,支持多维度延迟和吞吐量测量。 ## Changes - **新增 avg_latency_max_ms**:多轮对话平均延迟阈值 - **新增 throughput_min**:最低吞吐量(turns/min) - **保持 max_ms 向后兼容**:单轮延迟阈值 - **RuleResult.details** 包含延迟统计(avg/min/max/latencies) - 新增 10 项单元测试(656 tests passed) ## Configuration Example ```yaml rules: - type: response_time params: max_ms: 5000 # 单轮延迟阈值(向后兼容) avg_latency_max_ms: 3000 # 平均延迟阈值 throughput_min: 10 # 最低吞吐量(turns/min) ``` ## Note 首字延迟(first token latency)需要流式数据支持,当前 Turn 模型未提供,留待后续增强。 ## Test plan - [x] 单元测试通过(656 tests) - [x] 向后兼容验证(单轮 max_ms) - [x] 平均延迟测试 - [x] 吞吐量测试 - [x] 多指标组合测试 Closes #21
solahqb added 1 commit 2026-08-25 07:04:49 +00:00
feat(response_time): 支持平均延迟和吞吐量指标
All checks were successful
CI / test (pull_request) Successful in 4m6s
737c9ab80e
扩展 response_time 规则,支持多维度延迟和吞吐量测量。

- 新增 avg_latency_max_ms:多轮对话平均延迟阈值
- 新增 throughput_min:最低吞吐量(turns/min)
- 保持 max_ms 向后兼容(单轮延迟阈值)
- RuleResult.details 包含延迟统计(avg/min/max/latencies)
- 新增 10 项单元测试(656 tests passed)

注:首字延迟(first token latency)需要流式数据支持,当前 Turn 模型未提供,留待后续增强。

Closes #21
solahqb merged commit eb615c6522 into main 2026-08-25 08:01:44 +00:00
Sign in to join this conversation.
No reviewers
No Milestone
No project
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: solahqb/AgentEvalTool#29
No description provided.