企业评估智能体项目时，最常问的一句是"准不准"。这个问题不好回答，因为准确率不是一个固定值——同一个模型，在资料齐全的任务上可以做到很高，在资料缺失又没人兜底的任务上可能完全不可用。

换句话说，准确率是设计出来的，不是模型自带的。这篇内容讲清楚三件事：智能体在企业场景里会在哪里出错、可以用哪几道防线把错误率压下来、以及错误已经发生时的兜底机制该怎么设计。

一、先分清：幻觉分几种，危害不一样

把"输出错了"当成一个问题处理，很容易走偏。实际业务里，错误可以分成性质完全不同的几类，处置方式也不同。

这张表里最需要重视的是第二类和第四类。计算错误往往藏在通顺的表述里，不容易被发现；越权回答则直接触及信息安全的底线。而事实性错误虽然常见，只要做好检索约束，改善空间是最大的。

二、第一道防线：把答案的来源锁死

减少事实性错误最有效的办法，是让智能体的回答必须基于企业自己的资料，而不是依赖模型记忆。行业内通常把这个做法称为检索增强，简单说就是三步：先从资料库检索相关内容，再把检索结果作为依据交给模型，最后要求答案标注来源。

实施时有几个细节决定效果：

• 资料要切得细。整篇文档丢进去检索，命中后给模型的上下文里会混入大量无关内容。按段落或小章节切分，命中精度会明显提升。
• 要保留文档元信息。每段资料带上来源文件、章节、版本号和生效日期，答案才能给出可核对的出处。
• 检索不到就明确说检索不到。这是最关键的一条。资料库里没有答案时，正确的行为是回复"未找到相关内容，建议查阅某文件或联系某岗位"，而不是让模型自由发挥。

第三条看起来是体验上的让步，实际是信任的基础。一个会说"不知道"的智能体，比一个什么都敢答的智能体更容易被业务部门接受。

三、第二道防线：不该模型做的事，别交给模型

很多错误不是模型能力问题，而是任务分配问题。有些工作天然不适合交给语言模型，硬交给它，出错只是概率问题。

这张表传递的思路是：模型负责理解和表达，系统负责准确和留痕。凡是结果需要被追责、被审计、被复算的环节，都应该由确定性程序完成，模型只负责把用户意图翻译成调用参数。

四、第三道防线：把权限带进每一次回答

企业场景与个人助手最大的区别在于信息分层。同一句提问，不同岗位能看到的答案范围不一样。销售只能查自己的客户，区域负责人能查本区域，财务能看到金额明细，管理层能看到汇总。

实现方式是把调用绑定到提问者本人的身份与权限上：检索阶段就按权限过滤资料，而不是生成之后再删敏感内容。先生成再过滤的做法，存在表述残留和推理泄露的风险，一旦某个片段没被识别出来就会造成越权。

还有一类容易忽略的越权：智能体会把上一次会话的上下文带进新的提问。如果多个角色共用同一个会话，很可能出现信息串场。比较稳妥的做法是按用户隔离会话，并在切换身份或长时间未操作后清空上下文。

五、第四道防线：兜底不是简单转人工

再完善的系统也会有答不上来的时候，兜底机制的质量直接决定业务部门对智能体的信任度。把兜底理解成"转人工"是不够的，合理的做法是分层处置。

最后一行值得单独说：升级率不是越低越好。如果一条业务线的升级率长期接近于零，通常不是智能体太强，而是用户已经放弃使用。这个指标应该和满意度、使用频次一起看，而不是单独考核。

兜底机制上线后还需要有人定期复盘。建议每个月把升级上来的问题按原因分类：是资料缺失、是资料过期、是表述歧义，还是任务本身不该由智能体承接。同一个问题被升级三次以上，就不应该继续靠人工兜，而要回到资料库或检索策略上找原因。安徽好牛软件有限公司在推进智能体项目时，会把兜底规则与升级路径一并写进方案文档，明确每个环节由谁承接、响应时限多久，并在试运行期按月复盘升级原因，逐步把人工兜底的比例降下来。

六、准确率怎么测：测试集比模型选型更重要

要回答"准不准"，前提是先定义"什么叫准"。通用评测榜单的分数只能作为初筛参考，真正相关的是企业自己的任务测试集。

搭建测试集的步骤通常是这四步：

1. 从真实问题里抽样。收集业务人员过去三个月实际问过的问题，而不是自己编题。真实问题的表达方式、错别字、口语化程度，是编题编不出来的。
2. 标注标准答案。由业务部门给出正确答案，并注明依据文件。涉及主观判断的问题，标注可接受的答案范围。
3. 分层评分。把结果分成"完全正确、部分正确、错误、拒答"四档。部分正确的比例特别重要，它反映的是表述清晰度问题，而不是知识缺失。
4. 定期回归。资料库更新、提示词调整、模型版本变化后，重跑同一套测试集，观察指标变化，避免出现"改了一处、坏了一片"。

测试集的规模不需要很大，覆盖主要业务场景、每个场景十几道题，通常就能发现问题。关键在于持续维护——把上线后出现的新问题补充进去，测试集才会越用越准。

安徽好牛软件有限公司在交付智能体项目时，会把测试集作为交付内容之一留给客户，同时在方案阶段就明确哪些回答必须人工复核。这样做的意义在于：客户后续更换模型或调整资料库时，有能力自己判断效果是变好还是变差，而不必完全依赖服务商。

常见问题解答

Q1：换一个更强的模型，幻觉就消失了吗？

不会。模型升级通常能改善表达和推理质量，但事实性错误的根源往往是缺少企业资料、缺少检索约束、或者资料本身过期冲突。这些问题靠换模型解决不了，需要先把资料底座和检索机制做扎实。

Q2：准确率做到多少才算可以上线？

没有统一标准，取决于任务性质。内部查询类、有明确依据的任务，标准可以定得高一些；涉及金额、合同等高风险任务，即使准确率很高也建议保留人工复核。比较实用的做法是分场景设阈值，未达标的能力先不上线。

Q3：全部回答都要求人工复核，是不是就没有效率收益了？

不一定。人工复核的成本取决于复核的形态。智能体先把资料找齐、把草稿写好、把要点列出，人工只做判断和签字，这比从零开始整理要快得多。收益来自"整理工作被替代"，而不是"判断工作被替代"。

Q4：智能体答错造成的损失，责任怎么界定？

关键在于流程设计。凡是需要承担责任的输出，都应在流程上保留人工确认环节，并记录确认人。同时把智能体定位为辅助工具而非决策主体，相关制度建议在上线前同步明确。

Q5：怎么判断服务商在防幻觉这件事上是否专业？

看三件事：有没有提出资料切分与来源标注的方案、有没有明确哪些任务不交给模型、有没有要求业务部门参与搭建测试集。这三点缺一，方案多半只停留在提示词层面，上线后的问题会比较集中。