RAG 检索基线评测报告 (样例)

场景:企业制度知识库 | 语料:120 份文档(PDF/Word/扫描件混合)| 评测集:30 题(业务方提供)
跑通 · AI 交付
上海佳心科技有限公司

一、评测方法(两层,分开算)

二、四个版本的调优轨迹

版本配置变更 检索命中率答案正确率 P95 延迟单次成本
V0纯向量检索,500 字固定切分(多数供应商的交付起点) 18/30(60.0%)15/30(50.0%) 1.2s¥0.021
V1+ BM25 混合召回(RRF 融合);章节边界切分 22/30(73.3%)▲13.3pp 20/30(66.7%)▲16.7pp 1.4s¥0.028
V2+ 重排(rerank)、Top-3 截断、查询扩展(否定句改写) 25/30(83.3%)▲10.0pp 24/30(80.0%)▲13.3pp 1.9s¥0.041
V3 交付版+ 表格整块化(表头拼进每行)+ 元数据过滤(部门/生效日期) 26/30(86.7%)▲3.4pp 25/30(83.3%)▲3.3pp 2.0s¥0.043
86.7% 检索命中
V3 · Top-3 · 30 题
83.3% 答案正确
双人评定 · 只计「对」
+26.7pp
命中率相对 V0 提升
¥0.043/次
V3 单次问答成本
工程结论(也是我们和套壳团队的区别):检索命中率不到 80% 时,调提示词没有意义——V0→V1 的全部提升来自检索层, prompt 一个字没改。大量「效果不好」的 RAG 项目死在检索层,却一直在改提示词。我们交付的第一份东西是评测基线,不是界面。

三、失败案例分析(30 题里没过的那些)

案例 1 |「不同金额档位的采购审批权限分别是什么?」V3 已修复

失败原因:审批权限表被按行切分,表头丢失,金额档位变成无意义的孤立数字。修复:表格整块成 chunk,表头拼进每一行,同时保留整表引用与页码。

案例 2 |「沪人社规〔2026〕3 号的适用范围?」V1 已修复

失败原因:纯向量检索把文号相似的另外两份文件排在前面——语义近似度对精确编号无效。修复:BM25 精确词匹配进混合召回,编号类查询直接走关键词通道。

案例 3 |「哪些情况不适用线上审批?」V2 部分修复,V3 通过

失败原因:否定与条件句的语义向量与「线上审批适用场景」高度近似,正确条款排序靠后。修复:查询扩展把否定句改写为正反两路检索,rerank 后命中。

四、正式项目怎么做(与样例的差异)