a77cd83e6a
## 新增功能 - 文件管理模块：分类树 + 文件上传/下载/删除 - 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式） ## 页面布局统一（参照评测执行页） - 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局 - 统一内联页头样式（h2 + 竖线分隔 + 描述） - 表格撑满高度、overflow 处理 - 每页添加刷新按钮 ## Bug 修复 - 分类树操作按钮 hover 不可见（CSS 规则缺失） - 文件上传失败（multipart boundary 缺失） - LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response） - response_time_max_ms 被静默忽略（隐式规则传空 params） - 空 messages 导致 IndexError 崩溃 - poll_reply 异常中止整个 run（缺 try/catch） - engine finally 未关闭 session - 3 个页面 UTC 时间戳解析偏差 8 小时 ## 后端 - EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭 - LLM API 响应解析支持 content-block-array 格式 - 隐式 response_time 规则正确传递 max_ms 参数 ## 前端 - api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary） - Files.tsx: customRequest 替代 beforeUpload、布局优化 - index.css: 分类树 hover 规则 - Targets/Scenarios/Home/Reports: 全高布局改造 - 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差） Co-Authored-By: Claude <noreply@anthropic.com>
50 lines
1.2 KiB
Python
50 lines
1.2 KiB
Python
"""Base class for evaluation rules."""
|
|
|
|
from abc import ABC, abstractmethod
|
|
from dataclasses import dataclass
|
|
from typing import Any, Optional
|
|
|
|
from agenteval.models import Case, Turn
|
|
|
|
|
|
@dataclass
|
|
class RuleResult:
|
|
"""Result of applying an evaluation rule."""
|
|
|
|
passed: bool
|
|
score: Optional[float] = None
|
|
reason: str = ""
|
|
|
|
|
|
class EvalRule(ABC):
|
|
"""Abstract evaluation rule."""
|
|
|
|
name: str = ""
|
|
|
|
def __init__(self, params: dict[str, Any]):
|
|
self.params = params
|
|
|
|
@abstractmethod
|
|
def evaluate(self, case: Case, dialog: list[Turn]) -> RuleResult:
|
|
"""Evaluate the dialog against the case expectation."""
|
|
...
|
|
|
|
|
|
_RULE_REGISTRY: dict[str, type[EvalRule]] = {}
|
|
|
|
|
|
def register_rule(rule_cls: type[EvalRule]) -> type[EvalRule]:
|
|
_RULE_REGISTRY[rule_cls.name] = rule_cls
|
|
return rule_cls
|
|
|
|
|
|
def get_rule(rule_type: str, params: dict[str, Any]) -> EvalRule:
|
|
"""Instantiate a rule by type name."""
|
|
if rule_type not in _RULE_REGISTRY:
|
|
raise ValueError(f"unknown rule type: {rule_type}. Available: {list(_RULE_REGISTRY.keys())}")
|
|
return _RULE_REGISTRY[rule_type](params)
|
|
|
|
|
|
def list_rule_types() -> list[str]:
|
|
return list(_RULE_REGISTRY.keys())
|