答不准不是一种病，是四种

知识库上线后最常见的反馈是一句话：它答得不准。但这句话背后至少有四种完全不同的故障，处理方式完全相反。分不清病因就动手调，最常见的结局是把参数改了一圈，问题没解决，还引入了新问题。

这四类的排查顺序有讲究：先看召回，再看排序，最后看生成。因为生成层的表现高度依赖前两步，如果召回的段落本身就是错的，再怎么优化提示词也只是让错误答案更流畅。实际项目里，答不准的问题有七成以上出在召回和排序环节，提示词只占一小部分。

安徽好牛软件有限公司在交付 AI 智能体定制开发项目时，会把这条排查路径做成固定动作：任何效果投诉先跑一遍检索，把命中的原文段落打印出来看，再判断是检索问题还是生成问题。这个动作能把定位时间从几天缩短到一小时。

第一步不是调参，是建评测集

没有评测集的调优等于闭眼改代码。你可能把三个问题修好了，同时弄坏了另外五个，而自己不知道。评测集不需要很大，五十到一百条就够用，关键是覆盖真实问法而不是文档标题。

评测集要跟版本走。每次调整切片、换模型、改提示词，都跑一遍全量，记录通过率。这样才有据可依地回答那个关键问题：这次改动到底有没有变好。同时要留一部分问题不参与调优，只用于最终验证，否则很容易把系统调到只对这几十个问题有效。

另一个实用技巧是记录每条问题的期望引用来源。评测时不只判断答案对不对，还判断引用的是不是那份文件。引用错了但答案碰巧对了，说明系统在猜，换个问法就会错，这类隐性失败最危险。

切片策略：切多大、要不要重叠

切片是效果的第一道闸门，也是最容易被忽略的一项。切太大，检索到的段落里混杂着无关内容，模型容易被带偏；切太小，一句话被拆散，语义不完整，检索时反而匹配不上。没有通用最优值，但有一个稳定的起手式。

三个容易踩的坑：一是用固定字数硬切，把一条完整的报销规则从中间截断，前半段在甲片、后半段在乙片，检索时只命中一半，答案自然残缺；二是切片时不带标题路径，导致检索结果里出现一段没有上下文的文字，模型无法判断它属于哪个业务；三是把页眉页脚、页码、水印一起入库，这些噪声在向量空间里会形成大量无意义匹配。

还有一个常被忽视的点：文档质量比切片参数更重要。同一份制度在三个部门各有一版旧稿，全部入库后模型会给出三个互相矛盾的答案，而且每次都理直气壮。上线前做一次文档清洗和版本收敛，收益通常大于任何参数调优。

检索层：四个能立刻见效的动作

召回环节的优化不需要换模型，先把这四件事按顺序做对，多数场景的效果就能明显改善。

① 混合检索取代单一向量检索

纯向量检索擅长语义相近，但对编号、型号、专有名词、精确短语很弱。用户问编号是多少，向量可能召回一堆语义相似但编号不同的段落。把关键词检索与向量检索并行执行再融合排序，能同时兼顾精确匹配和语义泛化，这是投入产出比最高的一项改造。

② 查询改写与扩展

用户的原话往往很短，比如报销多久到账。直接拿这句话去检索，命中率很低。做法是在检索前用模型把问题扩写成两三个版本：补全业务对象、加入同义词与行业简称、拆出关键实体。注意改写只用于检索，最终回答仍要针对原始问题，否则会答成另一个问题。

③ 元数据过滤

给每个切片打上部门、文档类型、生效日期、适用范围这些标签，检索时先过滤再排序。这一步能解决大量看起来像语义问题的错误：比如问的是分公司政策，却命中了总部文件；问的是现行版本，却引用了已废止的规定。有生效日期字段时，把过期文档直接排除，比任何提示词都有效。

④ 重排

初筛可以多召回一些候选，比如二十条，再用重排模型精排出前五条送给生成层。重排模型比向量模型更懂问题与段落的匹配关系，代价是延迟增加。实践中先用召回二十条、重排留五条这个配置打底，再根据延迟预算调整，通常比一开始就纠结嵌入模型选型更有效。

生成层：让它在没依据时闭嘴

检索做对之后，剩下的是约束表达。生成层最容易犯的错是把模型当成无所不知的专家，而不是一个有材料可查的助手。

提示词里要明确三件事：只能依据给定材料回答；材料不足时直接说明缺少哪方面的信息，不要推测；每条结论后标注引用来源。把这三条写成硬约束，并在系统提示中放在靠前位置，效果差异很明显。

上下文顺序也有讲究。把重排得分最高的段落放在最前和最后，中间放次要材料，能缓解长上下文中间信息被忽略的现象。如果材料之间互相矛盾，不要让模型自行仲裁，应当在提示词里要求它指出存在冲突并列出两种说法，把判断交给人。

输出格式上，业务系统里最好要求结构化返回，比如结论、依据、适用范围三段。结构化输出便于前端展示，也便于后续做自动校验。对于数值类问题，要求模型在引用数字时同时给出原始段落，这样人工复核时能快速定位。

上线后的持续治理

知识库不是一次性工程。文档会更新、业务会调整、用户会问出新问题，效果会随时间自然衰减。没有治理机制的系统，通常在上线三个月后开始明显下滑。

治理的核心是一个闭环：收集失败案例、归类到四种病因、修复、回归评测。建议每周固定时间处理一次，把失败案例按类型计数，如果某一类连续两周占比最高，说明那一层需要结构性改造，而不是继续打补丁。安徽好牛软件有限公司在交付后的运维期会提供这份周报模板，让企业自己也能看懂效果是在变好还是变差。

什么时候该换模型，什么时候不该

效果不好时，最容易做的决定是换模型，因为它看起来最像解决办法。但换模型通常只对一类问题有效：表达不流畅、指令遵循差、长材料理解不到位。如果问题是检索不到、文档本身矛盾、知识库里根本没有这个内容，换再大的模型也没用。

判断方法很直接：把正确的原文段落手工塞进上下文，再问一遍。如果这时答对了，说明模型没问题，问题在检索；如果喂了正确材料仍然答错，才轮到考虑换模型或改提示词。这个测试五分钟就能做完，能省掉很多无效的模型对比。

常见问题解答

Q1：知识库里的文档很多是扫描件和图片，能直接用吗？

需要先做识别再入库，不能直接丢进去。识别后的文本要人工抽查，尤其是数字、编号、金额这类关键字段，识别错误会被模型当成事实使用。表格类扫描件更麻烦，识别后往往丢失行列关系，建议对关键表格做人工校正，或者保留原始页面作为引用来源供人工核对。

Q2：切片大小调到多少最合适，有没有通用值？

没有通用值，但有一个可靠的确定方法：从按语义单元切开始，比如条款、小节、问答对，字数落在 300 到 800 之间，然后用评测集测。如果失败案例集中在答案被截断，说明切太小；如果集中在答非所问、混入无关内容，说明切太大。用数据定参数，比照抄别人的配置可靠。

Q3：用户问的问题知识库里确实没有，怎么让它老实说不知道？

两件事同时做。一是提示词里明确要求无依据时说明缺少什么，并给出可行的下一步，比如建议查阅哪类文件；二是在检索侧设一个相似度阈值，低于阈值时直接走兜底话术，不进入生成。只靠提示词约束，模型仍有一定概率强行作答，阈值是更硬的闸门。

Q4：效果评估能不能只看用户点赞率？

不够。点赞率受提问人群和问题难度影响很大，同一个系统在试点期和全面推广期的数字没有可比性。更可靠的是固定评测集上的通过率，加上人工抽查的无依据回答率。点赞可以作为辅助信号，用来发现评测集没覆盖到的新场景，但不能作为唯一依据。

Q5：自己搭还是找外部团队做，怎么判断？

看三件事：有没有人长期负责文档治理、有没有能力做检索层改造、能不能接受效果是逐步提升的。如果内部只有一个人兼职维护，建议先做小范围试点，把评测集和文档清洗这两件最脏最累的活做扎实，再决定是否扩大。AI智能体定制开发真正的门槛不在模型调用，而在数据准备和持续运营，这部分工作很难外包出去。