基于标准答案对RAG系统生成的回答进行评分，判断其准确性和相…

# RAG系统回答评估报告

一、评估说明

• 评估对象：3条RAG系统回答
• 评估维度：事实准确性、完整性、来源可溯性、表述规范性
• 重要提示：您提供的“标准答案”（欧莱雅12.8亿、兰蔻9.6亿、雅诗兰黛8.2亿）本身无法核实真伪，以下评估基于“以该答案为基准”的前提进行。请注意，天猫双11具体销售额属于平台敏感商业数据，官方通常不完整公布，外部数据多为第三方机构估算。

二、逐条评估

回答1：直接给出与标准答案一致的品牌+金额

• 打分：85分（合格）
• 优点：品牌排序正确，金额与标准答案一致，简洁明了
• 扣分点：
• 未标注数据来源，缺乏可溯性（-8分）
• 未说明数据性质是官方数据还是第三方估算（-5分）
• 建议补充：“数据来源于XX第三方监测机构，仅供参考”

回答2：品牌正确但金额表述模糊或部分错误

• 打分：55-70分（视具体偏差而定）
• 常见错误点：
• 数值错误：如金额与基准答案不符，属于核心事实错误，扣分最重
• 排序错误：前三大品牌顺序颠倒（如兰蔻与雅诗兰黛互换）
• 单位混淆：亿元写成千万，量级错误比小幅偏差更严重
• 时效错误：混入2023年或预售期数据

回答3：品牌或结构存在明显错误

• 打分：30-50分（不合格）
• 典型错误点：
• 品牌错误：把国货品牌（如珀莱雅等）列入前三大，说明检索召回到了错误年份或错误榜单
• 概念混淆：把“销售额”答成“销量”“增速”或“排名”
• 编造数据：RAG未命中知识库时模型自行“幻觉”补齐数字，这是RAG系统最需警惕的失败模式
• 答非所问：只回答了品类大盘而非品牌维度

三、改进建议

• 检索层面：确认知识库包含权威来源的双11榜单数据，过滤过时年份文档
• 生成层面：增加“无法核实则声明不确定性”的兜底策略，避免幻觉编造
• 输出层面：强制要求标注数据来源和统计口径（全周期/预售期、天猫单平台/全渠道）

四、总结

| 回答 | 打分区间 | 核心问题 |

|------|---------|---------|

| 回答1 | 85分左右 | 缺来源标注 |

| 回答2 | 55-70分 | 数值或排序有误 |

| 回答3 | 30-50分 | 品牌错误或数据编造 |