sinohqb
|
21cc6ed407
|
feat: 用户体验指标（放弃率+流畅度评估）
CI / test (pull_request) Successful in 4m11s
新增用户体验跟踪能力。
- RunSummary 新增 abandoned_cases 和 abandonment_rate 字段
- 新增 fluency 规则：LLM 评估对话流畅度和自然性（0-10 分）
- 流畅度评估考虑：自然性、重复性、连贯性、响应质量
- 新增 10 项单元测试（676 tests passed）
注：放弃率的实际计算逻辑需要在引擎中集成，本 PR 提供数据模型和规则基础设施。
Closes #26
|
2026-08-25 16:36:28 +08:00 |
|
sinohqb
|
c7f1dca49d
|
v0.3-s2: 3 个新规则 + 组合逻辑 + 33 个测试
## 新规则（共 6 种，增加 3 种）
### semantic_similarity
- 调用 OpenAI 兼容 embedding API（asyncio.gather 并发两路请求）
- 余弦相似度与 reference 比对，min_score 可配置（默认 0.7）
- API 异常时明确返回失败原因，不隐藏错误
### json_schema
- 验证回复是否为合法 JSON（支持 markdown 代码块剥离）
- required_keys / forbidden_keys / key_types 三维校验
- dot-path 支持嵌套字段（"data.id"）
- strict_json=false 模式非阻断校验
### safety
- 双层检测：关键词黑名单（零延迟）+ 可选 moderation API
- API 不可用时自动降级黑名单，不中止评测
- 支持自定义 flagged_categories
## 规则组合逻辑（rule_logic + rule_pass_threshold）
- models.py: EvalRuleConfig 增加 weight 字段；Case 增加 rule_logic / rule_pass_threshold
- models.py: 新增 RuleLogic 枚举（all / any / weighted）
- engine._save_rule_results: 按 rule_logic 决定 case 通过/失败
- ALL：全部通过才通过（原有行为，向下兼容）
- ANY：至少一条通过即通过
- WEIGHTED：加权平均分 >= rule_pass_threshold
## 测试（43 → 76，新增 33）
- test_s2_rules_and_logic.py：3 个新规则的 pass/fail/边界/API 降级 + 5 个组合逻辑集成测试
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-17 11:23:22 +08:00 |
|
sinohqb
|
a77cd83e6a
|
v0.2.0-dev: 文件管理 + 页面布局统一 + 6 个 bug 修复
## 新增功能
- 文件管理模块：分类树 + 文件上传/下载/删除
- 文件上传支持拖拽（Dragger）+ 手动上传（customRequest 模式）
## 页面布局统一（参照评测执行页）
- 仪表盘/评测对象/评测场景/评测报告 全部改为全高 flex 布局
- 统一内联页头样式（h2 + 竖线分隔 + 描述）
- 表格撑满高度、overflow 处理
- 每页添加刷新按钮
## Bug 修复
- 分类树操作按钮 hover 不可见（CSS 规则缺失）
- 文件上传失败（multipart boundary 缺失）
- LLM API 响应 content blocks 数组格式支持（_extract_content_from_api_response）
- response_time_max_ms 被静默忽略（隐式规则传空 params）
- 空 messages 导致 IndexError 崩溃
- poll_reply 异常中止整个 run（缺 try/catch）
- engine finally 未关闭 session
- 3 个页面 UTC 时间戳解析偏差 8 小时
## 后端
- EvalEngine: poll_reply 异常保护、空 dialog 保护、session 关闭
- LLM API 响应解析支持 content-block-array 格式
- 隐式 response_time 规则正确传递 max_ms 参数
## 前端
- api.ts: 移除手动 Content-Type（让浏览器自动添加 boundary）
- Files.tsx: customRequest 替代 beforeUpload、布局优化
- index.css: 分类树 hover 规则
- Targets/Scenarios/Home/Reports: 全高布局改造
- 3 个页面时间戳改用 formatDateTime()（修复 UTC 偏差）
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-16 15:25:22 +08:00 |
|