改一句提示词，为什么别的地方就坏了

企业上了 AI 智能体之后，几乎都会撞上同一堵墙：为了修一个具体问题改了一句话，过两天别的场景出事了。典型剧本是这样的——客户投诉机器人总在售后咨询里推销新品，运营在提示词末尾加了一句「售后问题只解决问题，不推荐产品」；一周后发现，机器人对「能不能便宜点」这类议价话术也不接了，销售转化掉了一截。没有人动过销售相关的任何配置，坏的偏偏就是销售。

这不是玄学，是这类系统的技术特性决定的。大模型的输出是概率性的，提示词是作用在所有会话上的全局配置，一条新指令可能和原有指令冲突、可能被模型过度泛化、也可能挤占上下文注意力，让原本表现良好的能力悄悄退化。传统软件改一行代码，影响范围可以用调用关系算出来；智能体改一句话，影响范围是「全部会话」。所以判断一家合肥智能体开发公司交付质量，一个很实用的观察点就是：它有没有一套评测集和回归流程，还是靠上线后客户帮它测试。下面这份清单，把评测集建设、回归门槛、变更分级、灰度发布拆成可执行条目。

评测集怎么建：从哪来、多少条、怎么分层

评测集就是给智能体出的「期末考卷」：一批固定的输入问题，配上标准答案或判定标准，每次改动后重新考一遍，分数不掉才算改动安全。考卷的质量决定回归的价值，出题的来源有四个，缺一不可。

一是历史真实会话，从上线后的对话记录里挑，重点收三类：被转人工的、收到负反馈的、多轮才解决的——这些是系统最弱的环节。二是业务边界问题，由一线业务骨干口述「客户最难缠的十种问法」。三是对抗性输入，故意模糊、故意带诱导、故意超范围的提问，用来验证拒答与兜底。四是格式与流程用例，要求输出固定格式（比如必须带单号、必须按字段返回）的用例，这类问题机器最好判定。

规模上，上线初期的考卷至少一百条，稳定运营后扩到三百到五百条。比规模更重要的是分层配比和每条的质量：每道题必须带判定标准——标准答案、关键词断言、或「应拒答」标记，没有判定标准的题目在回归里毫无用处。要警惕的一个坑是题目泄密：如果回归题全都来自开发团队自己编，跑了一年分数很好看，线上投诉却没降，说明考卷和真实分布脱节了。评测集要像商品一样持续进货，每月从真实会话里补充新题、淘汰过时题。

回归怎么跑：三档判定与硬门槛

回归的执行要点是判定自动化、门槛书面化。判定分三档：第一档是关键词断言，答案必须包含单号、必须不含「无法办理」这类词，机器一秒判完，适合格式用例和事实型问答；第二档是语义相似度比对，回答与标准答案做向量化比对，超过阈值算过，适合问法灵活的知识问答；第三档是人工抽检，每轮回归按百分之十抽样人工判定，重点覆盖语义判定的高分边缘样本——相似度高但答非所问的，只有人看得出来。

门槛必须提前写进变更流程，而不是跑完再看分数找解释。常用的一组硬门槛如下表，任何一项不达标，本次变更不发布，回滚或修复后重跑。

有一个执行细节容易被忽略：回归要全量重跑，不要只跑「感觉相关」的子集。提示词改动的影响范围恰恰是算不准的，只考自认为会受影响的题目，等于替模型决定哪里会坏。全量跑一轮几百条用例的成本，通常只有几十分钟的机器时间，远低于一次线上事故的排查成本。

变更分级：不是每次改动都要全套流程

回归流程要分级，否则成本高到没人愿意执行，最后形同虚设。建议按影响面分三档：

小改：错别字、措辞微调、不影响语义的格式调整。抽样跑两成用例，加上格式用例全量即可。中改：新增或修改一条业务规则、调整知识库文章、更换检索参数。跑相关类别的全量加其他类别的一半抽样。大改：更换或升级底层模型、修改输出结构、调整会话架构、重写核心提示词段落。全量回归加人工抽检比例提到两成，并在灰度阶段延长观察时间。

每一档共同的前置动作只有一条：登记版本号和变更说明。哪个版本改了什么、谁改的、为什么改，留一条流水。线上出问题时，第一件事就是回看最近三次变更，八成能在里面找到嫌疑人。没有版本记录的智能体，出问题后连「改回上个版本」都做不到，只能整段重写。

灰度与线上观测：回归通过也不等于稳了

评测集再好也是抽样，真实流量里总有考卷没覆盖的长尾。所以大改之后要灰度放量：先放百分之五的会话到新版本，观察一到两天；指标平稳提到三成，再提到全量。灰度按会话切分而不是按问题切分，保证同一个用户在同一次咨询里始终面对同一个版本，避免体验混乱。

灰度和放量后要盯四个线上指标：转人工率（突然升高说明理解或答案出问题）、负反馈率（用户点「没解决」的比例）、平均对话轮次（无故变长通常是回答质量下降、用户反复追问）、以及会话完成率。给每个指标设告警阈值，比如转人工率比基线高出两成即触发告警，同时保留一键切回上一版本的能力，切换时间控制在分钟级。回归加灰度加可回滚，这三件事合起来才是完整的保险，缺任何一件，「改一句提示词就变差」的故事就会在自己身上重演。安徽好牛软件有限公司在智能体运维项目里的做法是把回归脚本和灰度开关一并交到客户侧，客户自己的运营人员也能按流程安全地改提示词，而不是每次都要排队等开发。

三个真实翻车复盘

第一个：换模型不回归。某企业因成本考虑把底层模型换成更便宜的型号，只抽测了二十条常规问题就全量切换，结果结构化输出格式全崩，下游对接的工单系统批量报错。教训：换模型属于最高级别的变更，格式用例和对措敏感的用例必须全量重考，因为它改变的是整个概率分布。

第二个：考卷过拟合。运营团队为了回归分数好看，反复针对考卷上的题目调整提示词，分数从八十五分提到九十六分，线上转人工率却没变化。原因很简单：他们在给考题做针对性辅导，而不是提升真实能力。教训：考题持续轮换，回归分数和线上指标两条线都要看，分数涨、指标不涨就是过拟合信号。

第三个：只考正常路径。评测集全是标准问法，没有对抗用例和边界用例。某次改动让机器人学会了「更主动」，结果用户随口一句「你们这产品是不是不行」被理解成咨询意愿，回了一整段推销话术，截图被客户发到社交媒体。教训：对抗与超范围用例那一层不能省，它们占比不高，防的却是最难看的公开事故。

把这套机制落到合同层面也简单：在开发合同里写明交付物包含评测集与回归脚本，验收时用考卷当堂考试，质保期内每次变更须出具回归报告。安徽好牛软件有限公司在智能体交付项目里把这组要求写进验收附件，客户在后续两年的迭代里始终能放心改、随时退，这套考卷本身也成了双方沟通变更影响的共同语言。

常见问题解答

Q1：没有历史数据的新项目，评测集从零怎么起步？

用「需求文档反推加人工构造」起步：从业务流程和知识库文档里逐条提炼典型问题，先覆盖每个业务分支的主路径，再补边界与对抗用例。起步一百条即可上线，跑满一个月真实会话后，从转人工和负反馈记录里补入第一批真题。评测集本来就是会长大的资产，第一版不必求全，但每条必须有判定标准。

Q2：回归一轮要花多少时间和成本？

以三百条用例、三档判定为例：关键词断言与语义比对是机器执行，全程约二三十分钟；人工抽检按一成比例是三十条，一名熟悉业务的人一到两个小时。常规中改的完整回归，半天内可以闭环。这个成本与一次线上事故的排查加信誉损失相比，完全可以忽略。

Q3：知识库更新算不算变更，要不要回归？

算。知识库文章的新增、改写、下架都会改变检索结果，影响面同样是全量会话。建议对知识库变更做轻量版回归：跑问答类用例全量，重点看被改文章相关的用例组。有的团队给知识库文章也做版本管理，改了哪篇、为什么改，与检索评测的用例组挂钩，追责和回滚都更精确。

Q4：评测分数很高，但业务部门还是不满意，怎么回事？

先检查考卷与真实分布的偏差：抽样调出最近一个月的真实会话，统计高频问题类型，对照考卷配比，缺哪类补哪类。再检查判定标准是不是过松：语义相似度过关不等于业务满意，关键业务用例应改用更严的判定。最后直接让业务部门参与出题，他们最清楚「什么叫答对了」。

Q5：灰度期间新旧版本怎么比较才公平？

按会话随机切分，两个版本跑同期的真实流量，对比四个线上指标的相对差异，同时控制变量：避开大促、节假日等流量异常期；统计周期不少于两天；样本量不足时延长灰度时间而不是提前下结论。灰度对比看的是相对值，两版同期同量对比比任何离线评测都更接近真相。