sinohqb
|
2f09ee2bfc
|
refactor(v1.3.1): Phase 3 报告横幅、评分逻辑收敛与成本闭环
CI / test (pull_request) Successful in 3m58s
- 报告渲染 Go/No-Go 上线评估横幅（HTML 彩色 banner + Markdown 引用块）
- 抽取 scored_llm 共享模块：llm_score / fluency 直连调用与评分解析收敛
- 网关新增 chat_with_usage / embed_with_usage，规则按次归集 llm_usage
- 引擎分岗位用量归集（judge/generator/embedding/moderation）写入
RunSummary.eval_usage_by_purpose，并发下不做总量差值
- cost_tracking 重构：data/model_pricing.json 覆盖 + 默认计价表，
删除从未有数据支撑的 Turn 维度成本函数（偏差说明见 PR）
- 报告 summary 增加 eval_cost 分岗位成本段并在 Markdown 渲染
|
2026-08-26 01:59:20 +08:00 |
|
sinohqb
|
c1a3cdbaa9
|
fix(rules): 修复代码审查发现的三处规则层缺陷
CI / test (pull_request) Successful in 4m5s
- response_time: 仅配置 max_ms 时恢复 v0.3 评分语义（最后一轮评分 + 超限线性惩罚），扩展指标共存时才用均值评分
- safety: 移除 moderation API 的黑名单命中跳过守卫，两层安全检查独立执行、发现均上报
- llm_score: 多维度评分添加 Semaphore 并发上限（5），防止维度数多时无限扇出模型请求
|
2026-08-25 18:13:11 +08:00 |
|
sinohqb
|
21cc6ed407
|
feat: 用户体验指标（放弃率+流畅度评估）
CI / test (pull_request) Successful in 4m11s
新增用户体验跟踪能力。
- RunSummary 新增 abandoned_cases 和 abandonment_rate 字段
- 新增 fluency 规则：LLM 评估对话流畅度和自然性（0-10 分）
- 流畅度评估考虑：自然性、重复性、连贯性、响应质量
- 新增 10 项单元测试（676 tests passed）
注：放弃率的实际计算逻辑需要在引擎中集成，本 PR 提供数据模型和规则基础设施。
Closes #26
|
2026-08-25 16:36:28 +08:00 |
|
|
|
2c79abf1de
|
Merge pull request 'feat(safety): 扩展规则覆盖幻觉、越权和合规检查' (#30) from feat/safety-extended into main
CI / test (push) Successful in 4m7s
|
2026-08-25 08:02:05 +00:00 |
|
sinohqb
|
192fe0fc5f
|
feat(safety): 扩展规则覆盖幻觉、越权和合规检查
CI / test (pull_request) Successful in 4m2s
扩展 safety 规则，新增三个安全检查维度。
- 幻觉检测（check_hallucination）：LLM 判断回答是否编造事实
- 越权操作检测（unauthorized_actions）：模式匹配检测越权行为
- 合规性检查（required_disclaimers）：检查必需声明是否存在
- 保持原有 blacklist + moderation API 向后兼容
- RuleResult.details 包含所有问题列表
- 新增 10 项单元测试（656 tests passed）
Closes #22
|
2026-08-25 15:30:00 +08:00 |
|
sinohqb
|
737c9ab80e
|
feat(response_time): 支持平均延迟和吞吐量指标
CI / test (pull_request) Successful in 4m6s
扩展 response_time 规则，支持多维度延迟和吞吐量测量。
- 新增 avg_latency_max_ms：多轮对话平均延迟阈值
- 新增 throughput_min：最低吞吐量（turns/min）
- 保持 max_ms 向后兼容（单轮延迟阈值）
- RuleResult.details 包含延迟统计（avg/min/max/latencies）
- 新增 10 项单元测试（656 tests passed）
注：首字延迟（first token latency）需要流式数据支持，当前 Turn 模型未提供，留待后续增强。
Closes #21
|
2026-08-25 15:03:54 +08:00 |
|
sinohqb
|
a29f78ff4b
|
feat(llm_score): 支持多维度独立评分
CI / test (pull_request) Successful in 4m9s
扩展 llm_score 规则，支持通过 dimensions 参数配置多个评分维度，
每个维度独立评分 0-10 分。
- RuleResult 新增 details 字段存储结构化多维度分数
- 向后兼容：原有 criteria 单维度模式继续有效
- 多维度模式下各维度并行调用 LLM，返回平均分和明细
- 新增 4 项单元测试
Closes #19
|
2026-08-25 14:17:49 +08:00 |
|
sinohqb
|
470ff5875f
|
feat(models): add centralized model configuration
|
2026-07-17 20:02:43 +08:00 |
|
sinohqb
|
c4962ddadf
|
fix(llm_score): 修复多轮用例 question 提取错位导致普遍打 0 分
## 现象
多轮/动态用例的 llm_score 规则几乎全部返回 0.0/10 失败，即便被测对象
回复质量很高（实测 400+ 字的专业医疗回复也是 0 分）。
## 根因
evaluate() 里 question 提取逻辑错误：
if len(dialog) >= 2:
question_text = extract_reply_text(dialog[-2].reply) # BUG
dialog[-2].reply 是「上一轮智能体的回复」，被误当成「用户问题」。于是评分
LLM 收到的问答对是：
- "用户问题" = 上一轮 AI 回复
- "智能体回复" = 当前轮 AI 回复
两段都是 AI 说的话、互不相关，评分 LLM 判定牛头不对马嘴 → 打 0 分。
单轮用例因 len(dialog)<2 走 sent_message 提取（正确），故不受影响；
问题只在多轮/dynamic 用例爆发。
## 修复
- question 始终取当前轮 last_turn.sent_message（用户实际发送的问题），
移除错误的 dialog[-2].reply 分支
- reason 增加评分 LLM 自己的理由（parsed["reason"]），便于未来诊断
- 新增回归测试：多轮场景验证 question 来自 last sent_message 而非 prev reply
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-17 16:15:07 +08:00 |
|
sinohqb
|
c7f1dca49d
|
v0.3-s2: 3 个新规则 + 组合逻辑 + 33 个测试
## 新规则（共 6 种，增加 3 种）
### semantic_similarity
- 调用 OpenAI 兼容 embedding API（asyncio.gather 并发两路请求）
- 余弦相似度与 reference 比对，min_score 可配置（默认 0.7）
- API 异常时明确返回失败原因，不隐藏错误
### json_schema
- 验证回复是否为合法 JSON（支持 markdown 代码块剥离）
- required_keys / forbidden_keys / key_types 三维校验
- dot-path 支持嵌套字段（"data.id"）
- strict_json=false 模式非阻断校验
### safety
- 双层检测：关键词黑名单（零延迟）+ 可选 moderation API
- API 不可用时自动降级黑名单，不中止评测
- 支持自定义 flagged_categories
## 规则组合逻辑（rule_logic + rule_pass_threshold）
- models.py: EvalRuleConfig 增加 weight 字段；Case 增加 rule_logic / rule_pass_threshold
- models.py: 新增 RuleLogic 枚举（all / any / weighted）
- engine._save_rule_results: 按 rule_logic 决定 case 通过/失败
- ALL：全部通过才通过（原有行为，向下兼容）
- ANY：至少一条通过即通过
- WEIGHTED：加权平均分 >= rule_pass_threshold
## 测试（43 → 76，新增 33）
- test_s2_rules_and_logic.py：3 个新规则的 pass/fail/边界/API 降级 + 5 个组合逻辑集成测试
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-17 11:23:22 +08:00 |
|
sinohqb
|
12481cd1b8
|
v0.3-s1: 规则层异步化 + 工具函数去重 + HTTP 通道
## 核心变更
### 规则层全面异步化（DEBT-1）
- EvalRule.evaluate() 签名改为 async def，全量同步改造（无兼容层）
- LlmScoreRule._call_llm: requests.post → httpx.AsyncClient，彻底消除事件循环阻塞
- engine._save_rule_results: rule.evaluate() → await rule.evaluate()
### 工具函数去重（DEBT-2）
- 新建 agenteval/utils/llm.py，统一三个函数：
- extract_reply_text (原 5 处重复)
- extract_content_from_llm_response (原 2 处重复)
- parse_json_from_llm_text (统一 LLM 输出 JSON 解析)
- engine.py / llm_score.py / runs.py / report.py 全部切换到 utils.llm
### HTTP 通用通道（S1-3）
- 新建 channels/http.py (HttpChannel)
- 配置化 send_url / reply_url 模板 ({message}, {msg_id} 占位)
- dot-path 提取 msg_id 和 reply_text
- 可选 reply_ready_path 就绪标志
- 长连接 AsyncClient 复用
- ChannelFactory 注册 ChannelType.HTTP → HttpChannel
### 测试
- 新增 tests/unit/test_http_channel_and_rules.py (19 个测试)
- _get_path / health_check / send / poll_reply / 超时 / 就绪标志 / async 规则评估
- 测试总数：24 → 43，全部通过
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-17 10:52:32 +08:00 |
|
sinohqb
|
a77cd83e6a
|
v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复
## 新增功能
- 文件管理模块：分类树 + 文件上传/下载/删除
- 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式）
## 页面布局统一（参照评测执行页）
- 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局
- 统一内联页头样式（h2 + 竖线分隔 + 描述）
- 表格撑满高度、overflow 处理
- 每页添加刷新按钮
## Bug 修复
- 分类树操作按钮 hover 不可见（CSS 规则缺失）
- 文件上传失败（multipart boundary 缺失）
- LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response）
- response_time_max_ms 被静默忽略（隐式规则传空 params）
- 空 messages 导致 IndexError 崩溃
- poll_reply 异常中止整个 run（缺 try/catch）
- engine finally 未关闭 session
- 3 个页面 UTC 时间戳解析偏差 8 小时
## 后端
- EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭
- LLM API 响应解析支持 content-block-array 格式
- 隐式 response_time 规则正确传递 max_ms 参数
## 前端
- api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary）
- Files.tsx: customRequest 替代 beforeUpload、布局优化
- index.css: 分类树 hover 规则
- Targets/Scenarios/Home/Reports: 全高布局改造
- 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差）
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-16 15:25:22 +08:00 |
|
