智能体项目最容易出问题的地方不是开发，而是验收。传统软件验收看功能有没有、缺陷有多少；但大模型的输出是概率性的，同一个问题问两次可能给出不同答案。结果就是：演示阶段通过率很高，上线后真实场景频繁需要人工兜底，项目卡在业务部门签不了字，尾款也结不掉。

这篇讲AI智能体定制开发的验收该怎么做：验收什么、门槛定在哪、测试集怎么建、上线节奏怎么排。它既是甲方验收的清单，也是乙方交付的自检表。

一、为什么传统验收套不上智能体

三个根本差异决定了验收方式必须改：

• 输出是概率性的。无法用"功能有无"判断，只能用统计口径判断合格率。
• 效果依赖数据与上下文。同一套模型接不同数据，效果可以差一个量级。因此不能用模型跑分代替业务验收。
• 出错方式不同。传统软件报错是显式的，智能体出错往往"看起来很对"，需要专门的幻觉与越权检查。

业界的普遍结论是：验收的本质是验证模型在真实业务数据集上的稳定交付能力，而不是一次性演示效果。

二、四个维度的验收体系

把验收拆成四层比堆指标更可执行。四层都通过才允许上线，缺一层就应该继续留在灰度阶段。

三、核心指标与门槛

门槛没有统一标准，但公开的项目实践给出了可参考的区间。关键原则是：门槛要相对人工基线设定，而不是照搬绝对数字。如果人工处理的正确率是 92%，智能体达到 88% 至 90% 且吞吐显著更高、成本更低，就可以考虑上线；而面向客户或涉及交易的动作，则应要求达到或超过人工基线。

其中"正确弃答"这一项最容易被忽略，却最能反映智能体是否可靠。一个在证据不足时敢于说"我无法确认"的系统，风险远低于一个永远给出流畅答案的系统。

四、测试集怎么建

验收的可信度取决于测试集，而不是取决于演示。四条要求：

1. 规模在 200 到 500 条之间。低于 200 条，抽样波动会把小的回退掩盖掉；数量过多也不必，覆盖度比条数更重要。
2. 覆盖真实的分布。既要有常见案例，也要有边界案例，还要包含历史上最容易出错或最容易升级的那 5% 到 10%。
3. 至少包含 20 条高风险异常样本。例如凭证缺失、金额不符、表述矛盾、恶意诱导等。
4. 由业务、技术、测试三方共建，且独立于训练与微调数据。使用模型见过的数据做验收，等于没有验收。

每条样本需要记录四件事：期望结果、可接受的偏差、必须提供的证据、以及可接受的最大损害。这份集合之后就是回归测试的基准——每次改提示、换模型、动工具，都要重跑一遍比对分数。这是防止"静默退化"的唯一办法：系统表现变差往往没有任何报错，只有分数在悄悄下滑。

五、上线节奏：影子、灰度、全量

不要一次全量。稳妥的节奏是三步：

• 影子运行 2 到 4 周。智能体处理真实流量但不对外生效，与人工结果逐条比对。高度季节性的流程建议延长到 6 周。影子期的推理成本大约是双份，但这是最便宜的失败方式——用几千元的重复推理，换掉上线后返工一个季度的可能。
• 金丝雀灰度。放量 5% 到 20%，观察连续两周人工一致率是否稳定或上升，再逐级放大。
• 全量上线并保留兜底。人工通道不关闭，并明确高风险动作必须人工确认的清单。

六、验收报告应该包含什么

验收最后要落在可评审、可签字的报告上。如果报告只写一句"系统运行正常"，业务部门无法判断，财务也无法据此结算。建议至少包含五部分内容：

1. 测试集说明。多少条、怎么来的、覆盖哪些类型、是否独立于训练数据；
2. 分项指标结果。准确率、召回率、幻觉率、任务成功率、人工接管率、响应时间分位数逐项列示，并附上对应的人工基线；
3. 失败样本归因。把未达标的案例按原因分类，说明是数据问题、检索问题还是模型问题，以及各自的改进安排；
4. 风险与治理检查结果。权限是否按最小化配置、敏感信息是否脱敏、操作日志是否完整可追溯；
5. 上线后的观测安排。看哪些指标、多久复评一次、由谁负责、出现异常时的处置路径。

报告还有一个重要用途：作为后续迭代的基线。有了第一版报告，下一次复评才有对比对象，效果是变好还是变差一目了然。这也是把智能体项目从"一次性交付"变成"可管理资产"的关键一步。

七、验收前必查的四件事

安徽好牛软件有限公司在合肥的智能体项目里，把验收测试集的建设放在开发阶段就同步开始——测试用例由客户业务人员参与确认，评测分数与人工基线一起写进验收报告。上线后每个季度做一次回归复评，把分数变化趋势交给客户，而不是等业务部门发现效果变差才回头排查。

常见问题解答

Q1：验收标准由谁来定？

由业务方定目标、技术方定口径、双方共同确认测试集。只由技术方定的标准容易脱离业务，只由业务方定的标准又常常无法量化。关键是每条指标都要有阈值、口径和后果三要素。

Q2：验收不通过怎么办？

合同里应当预先约定分档处理：轻微未达标限期整改，核心指标未达标则延长灰度并调整范围，同时明确尾款与质保金的结算方式。事先约定比事后协商有效得多。

Q3：效果很好但员工不用，算验收通过吗？

不算。使用率本身就是业务价值指标。建议把周活跃使用率、人均调用次数一并纳入验收，否则很容易出现"系统合格、业务没变"的结果。

Q4：影子期到底要多久？

两到四周是实务下限，能覆盖一周内的季节性波动和输入构成变化。两周连续的人工一致率稳定或上升，才可以进入灰度。时间不够就放量，等于用生产环境做测试。

Q5：上线之后还需要持续评测吗？

需要。模型版本更新、工具接口变更、输入分布漂移都会让效果变化。常规做法是自动化回归随每次提示或配置变更触发，高风险场景每季度再认证一次。安徽好牛软件有限公司把季度复评与成本观测放在同一份交付报告里，客户既能看效果，也能看花费。