AgentEvalTool/.scratch/v0.9/issues/04-judge-review.md

813 B
Raw Blame History

04 — judge 抽样复核

What to build: 会话关闭后,平台后台对该会话对话抽样(默认 ≤3 段,控 token经 judge 岗位模型独立复核产出质量维度结论态度、专业性、幻觉等落入会话记录。复核是异步后台执行失败落错误不阻塞会话状态也不影响体验记录这条第一手证据线。LLM 调用走可注入客户端接缝,测试用假客户端覆盖。

Blocked by: 01会话关闭事件与对话数据

Status: completed

  • 会话关闭后自动触发抽样复核,结果结构化落库
  • 抽样上限生效;无模型配置时静默跳过
  • 复核失败落错误,会话仍为 completed
  • 假客户端测试覆盖编排、解析失败、无模型分支先例v0.7 分析测试)