扩展 llm_score 支持多维度评分 #19

New Issue

solahqb · 2026-08-25T05:55:31Z

solahqb commented

2026-08-25 05:55:31 +00:00

背景

Wayfinder #13 差距分析（#17）识别的 P0 差距。

需求

扩展 llm_score 规则，支持对准确性、相关性、完整性分别打 0-10 分（三个独立分数）。

实现要点

修改 llm_score 规则配置，支持多个评分维度
每个维度独立的 prompt 和评分标准
报告输出包含多维度分数

验收标准

可以配置 3 个评分维度（准确性、相关性、完整性）
每个维度独立评分 0-10
报告展示多维度分数

## 背景 [Wayfinder #13](https://git.solahqb22.cn/solahqb/AgentEvalTool/issues/13) 差距分析（[#17](https://git.solahqb22.cn/solahqb/AgentEvalTool/issues/17)）识别的 P0 差距。 ## 需求扩展 `llm_score` 规则，支持对准确性、相关性、完整性分别打 0-10 分（三个独立分数）。 ## 实现要点 - 修改 `llm_score` 规则配置，支持多个评分维度 - 每个维度独立的 prompt 和评分标准 - 报告输出包含多维度分数 ## 验收标准 - 可以配置 3 个评分维度（准确性、相关性、完整性） - 每个维度独立评分 0-10 - 报告展示多维度分数

solahqb added the

priority:P0

label 2026-08-25 05:55:31 +00:00

solahqb referenced this issue from a commit

2026-08-25 06:18:43 +00:00

feat(llm_score): 支持多维度独立评分

solahqb referenced a pull request that will close this issue

2026-08-25 06:19:12 +00:00

feat(llm_score): 支持多维度独立评分 #27

solahqb commented

2026-08-25 06:19:34 +00:00

Resolution

实现完成，PR #27。

实现内容：

RuleResult 新增 details 字段存储结构化多维度分数
LlmScoreRule 支持 dimensions 参数配置多个评分维度
向后兼容：原有 criteria 单维度模式继续有效
多维度模式下各维度并行调用 LLM，返回平均分和明细
新增 4 项单元测试（637 tests passed）

配置示例：

rules:
  - type: llm_score
    params:
      dimensions:
        - name: accuracy
          criteria: "回答是否准确"
          min_score: 7
        - name: relevance
          criteria: "回答是否相关"
          min_score: 7
        - name: completeness
          criteria: "回答是否完整"
          min_score: 7

## Resolution 实现完成，PR [#27](https://git.solahqb22.cn/solahqb/AgentEvalTool/pulls/27)。 **实现内容**： - RuleResult 新增 `details` 字段存储结构化多维度分数 - LlmScoreRule 支持 `dimensions` 参数配置多个评分维度 - 向后兼容：原有 `criteria` 单维度模式继续有效 - 多维度模式下各维度并行调用 LLM，返回平均分和明细 - 新增 4 项单元测试（637 tests passed） **配置示例**： ```yaml rules: - type: llm_score params: dimensions: - name: accuracy criteria: "回答是否准确" min_score: 7 - name: relevance criteria: "回答是否相关" min_score: 7 - name: completeness criteria: "回答是否完整" min_score: 7 ```

solahqb closed this issue

2026-08-25 06:19:34 +00:00

solahqb referenced this issue

2026-08-25 06:20:07 +00:00

Wayfinder: AgentEvalTool 价值评估与决策 #13

Sign in to join this conversation.