a77cd83e6a
## 新增功能 - 文件管理模块：分类树 + 文件上传/下载/删除 - 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式） ## 页面布局统一（参照评测执行页） - 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局 - 统一内联页头样式（h2 + 竖线分隔 + 描述） - 表格撑满高度、overflow 处理 - 每页添加刷新按钮 ## Bug 修复 - 分类树操作按钮 hover 不可见（CSS 规则缺失） - 文件上传失败（multipart boundary 缺失） - LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response） - response_time_max_ms 被静默忽略（隐式规则传空 params） - 空 messages 导致 IndexError 崩溃 - poll_reply 异常中止整个 run（缺 try/catch） - engine finally 未关闭 session - 3 个页面 UTC 时间戳解析偏差 8 小时 ## 后端 - EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭 - LLM API 响应解析支持 content-block-array 格式 - 隐式 response_time 规则正确传递 max_ms 参数 ## 前端 - api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary） - Files.tsx: customRequest 替代 beforeUpload、布局优化 - index.css: 分类树 hover 规则 - Targets/Scenarios/Home/Reports: 全高布局改造 - 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差） Co-Authored-By: Claude <noreply@anthropic.com>
37 lines
1.3 KiB
Python
37 lines
1.3 KiB
Python
"""Response time evaluation rule."""
|
|
|
|
from agenteval.evaluation.rules.base import EvalRule, RuleResult, register_rule
|
|
from agenteval.models import Case, Turn
|
|
|
|
|
|
@register_rule
|
|
class ResponseTimeRule(EvalRule):
|
|
"""Check whether the reply latency is within the configured threshold."""
|
|
|
|
name = "response_time"
|
|
|
|
def evaluate(self, case: Case, dialog: list[Turn]) -> RuleResult:
|
|
if not dialog:
|
|
return RuleResult(passed=False, reason="无回复记录")
|
|
|
|
threshold_ms = self.params.get("max_ms")
|
|
if threshold_ms is None:
|
|
threshold_ms = case.expectations.response_time_max_ms
|
|
if threshold_ms is None:
|
|
return RuleResult(passed=True, reason="未配置响应时间阈值")
|
|
|
|
last_turn = dialog[-1]
|
|
latency = last_turn.latency_ms
|
|
if latency is None:
|
|
return RuleResult(passed=False, reason="无法获取响应时间")
|
|
|
|
if latency > threshold_ms:
|
|
return RuleResult(
|
|
passed=False,
|
|
score=max(0.0, 1.0 - (latency - threshold_ms) / threshold_ms),
|
|
reason=f"响应时间 {latency}ms 超过阈值 {threshold_ms}ms",
|
|
)
|
|
|
|
score = 1.0 if latency <= 0 else min(1.0, threshold_ms / latency)
|
|
return RuleResult(passed=True, score=score, reason=f"响应时间 {latency}ms 通过")
|