solahqb/AgentEvalTool
1
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases 1 Wiki Activity

扩展 response_time 支持首字延迟和吞吐量 #21

New Issue
Closed
opened 2026-08-25 05:55:57 +00:00 by solahqb · 0 comments
solahqb commented 2026-08-25 05:55:57 +00:00
Owner
Copy Link

背景

Wayfinder #13 差距分析（#17）识别的 P1 差距。

需求

扩展 response_time 规则，支持首字延迟、完整响应延迟、每轮延迟和吞吐量测量。

实现要点

  • 首字延迟：从发送消息到收到第一个字的时间
  • 完整响应延迟：从发送消息到收到完整回复的时间
  • 每轮延迟：多轮对话中每轮的平均延迟
  • 吞吐量：单位时间内处理的对话数

验收标准

  • 可以配置测量首字延迟
  • 可以配置测量吞吐量
  • 报告展示各项延迟指标
## 背景 [Wayfinder #13](https://git.solahqb22.cn/solahqb/AgentEvalTool/issues/13) 差距分析（[#17](https://git.solahqb22.cn/solahqb/AgentEvalTool/issues/17)）识别的 P1 差距。 ## 需求 扩展 `response_time` 规则，支持首字延迟、完整响应延迟、每轮延迟和吞吐量测量。 ## 实现要点 - 首字延迟：从发送消息到收到第一个字的时间 - 完整响应延迟：从发送消息到收到完整回复的时间 - 每轮延迟：多轮对话中每轮的平均延迟 - 吞吐量：单位时间内处理的对话数 ## 验收标准 - 可以配置测量首字延迟 - 可以配置测量吞吐量 - 报告展示各项延迟指标
solahqb added the
priority:P1
 label 2026-08-25 05:55:57 +00:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
priority:P0

   
priority:P1

   
priority:P2

   
wayfinder:grilling

   
wayfinder:map

   
wayfinder:prototype

   
wayfinder:research

   
wayfinder:task
No Label
priority:P0
priority:P1
priority:P2
wayfinder:grilling
wayfinder:map
wayfinder:prototype
wayfinder:research
wayfinder:task
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: solahqb/AgentEvalTool#21
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?