样例说明:本报告使用示例数据,用于展示我们的评测方法、交付标准与调优过程。
正式项目将按贵司真实文档与业务方提供的题目生成同等结构的报告,原始记录随交付物一并提供。
RAG 检索基线评测报告 (样例)
场景:企业制度知识库 | 语料:120 份文档(PDF/Word/扫描件混合)| 评测集:30 题(业务方提供)
一、评测方法(两层,分开算)
- 检索命中率:Top-3 召回结果中是否包含标注的正确文档与章节——检索层的问题在这里暴露
- 答案正确率:按评测集标准答案双人评定(对 / 部分对 / 错),只计「对」——生成层的问题在这里暴露
- 配套指标:P95 延迟、单次问答 token 成本——效果不能靠无限堆上下文换
二、四个版本的调优轨迹
| 版本 | 配置变更 |
检索命中率 | 答案正确率 |
P95 延迟 | 单次成本 |
| V0 | 纯向量检索,500 字固定切分(多数供应商的交付起点) |
18/30(60.0%) | 15/30(50.0%) |
1.2s | ¥0.021 |
| V1 | + BM25 混合召回(RRF 融合);章节边界切分 |
22/30(73.3%)▲13.3pp |
20/30(66.7%)▲16.7pp |
1.4s | ¥0.028 |
| V2 | + 重排(rerank)、Top-3 截断、查询扩展(否定句改写) |
25/30(83.3%)▲10.0pp |
24/30(80.0%)▲13.3pp |
1.9s | ¥0.041 |
| V3 交付版 | + 表格整块化(表头拼进每行)+ 元数据过滤(部门/生效日期) |
26/30(86.7%)▲3.4pp |
25/30(83.3%)▲3.3pp |
2.0s | ¥0.043 |
86.7% 检索命中
V3 · Top-3 · 30 题
工程结论(也是我们和套壳团队的区别):检索命中率不到 80% 时,调提示词没有意义——V0→V1 的全部提升来自检索层,
prompt 一个字没改。大量「效果不好」的 RAG 项目死在检索层,却一直在改提示词。我们交付的第一份东西是评测基线,不是界面。
三、失败案例分析(30 题里没过的那些)
案例 1 |「不同金额档位的采购审批权限分别是什么?」V3 已修复
失败原因:审批权限表被按行切分,表头丢失,金额档位变成无意义的孤立数字。修复:表格整块成 chunk,表头拼进每一行,同时保留整表引用与页码。
案例 2 |「沪人社规〔2026〕3 号的适用范围?」V1 已修复
失败原因:纯向量检索把文号相似的另外两份文件排在前面——语义近似度对精确编号无效。修复:BM25 精确词匹配进混合召回,编号类查询直接走关键词通道。
案例 3 |「哪些情况不适用线上审批?」V2 部分修复,V3 通过
失败原因:否定与条件句的语义向量与「线上审批适用场景」高度近似,正确条款排序靠后。修复:查询扩展把否定句改写为正反两路检索,rerank 后命中。
四、正式项目怎么做(与样例的差异)
- 题目由贵司业务方提供(30–50 题),每题标注标准答案所在文档与章节——我们不自己出题自测自夸
- 基线先行:不改任何配置先跑一轮,之后每次改动只认这两个数字
- 原始记录(每题召回列表、判定、评分人)随交付物提供,可复核
- 不承诺固定准确率数字;承诺的是方法、过程与可复核的记录