客服主管觉得机器人太啰嗦,让工程在生产配置里删掉两句限制;下午经销商群就开始收到比制度更松的退货口吻。问是谁改的,配置页面只有当前文本,没有作者,也没有上一版。提示词改了无人知晓,后面所有「模型忽然变了」的投诉都无法定位。提示词在这里不是文案灵感,而是决定对外口径的运行配置,应当按发布物管理。
一份提示词里其实有好几段职责

能改出口径的内容通常混在一起:角色说明、禁止承诺的事项、引用知识的方式、语气、以及某个活动的临时补充。临时补充最容易被直接贴进生产。活动结束后没人记得删,于是过期优惠继续被说出来。应把稳定规则和活动补充拆成两段。稳定规则走评审,活动补充带生效时间和失效时间,到期自动不再拼进发给模型的内容。谁可以改稳定规则,谁可以发活动补充,要分成两种权限。客服主管可以提交活动补充,不能绕过评审去改「不得承诺退款比例」这类底线。
每一次发布都要有版本号、提交人、评审人、变更说明和关联的题单。变更说明要写人能看懂的话,例如「收紧定制商品退货表述」,而不是「更新prompt」。题单就是上线前跑过的那些问题:哪些必须拒答,哪些必须引用某条制度。版本没关联题单结果,就不能标成可发布。
不要对所有渠道同时生效

新版本先进入一个渠道或一个技能组,例如只对内部员工问答或只对某一组坐席辅助生效,对外机器人仍用旧版。观察期内看拒答率、转人工率和抽检到的越权承诺有没有上升。观察期由业务定,至少覆盖一个业务高峰,而不是改完十分钟没报错就算成功。指标越界就停灰度,生产流量回到上一版。回滚不是把文本手工贴回去,而是把流量指向仍保留的上一版编号。上一版必须原样留着,包括当时拼进去的知识版本号。只留文本、不留当时的知识版本,回滚后引用的制度可能已经变了,等于没有回到当时的行为。
坐席辅助和自动发送要分开灰度。坐席辅助答错,人还可以不发;自动发送答错,客户已经看到。自动发送的新提示词,灰度比例应更小,并且默认仍须坐席点发送,直到抽检通过再放开。这个开关如果和提示词版本绑在一起被人顺手打开,就会把未评审的口径直接发给客户。
出了问题要能回答是哪一版在说话

每条已经产生的回答都要记下提示词版本、模型版本和知识版本。客服主管拿着客户截图,应能查到那句话是哪一版提示词生成的,该版本是谁在何时发布的,灰度范围是不是本来就不该包括这个渠道。查不到这三项,版本管理就没有用。验收时可以故意发布一版只改一个词的提示词到灰度渠道,确认该渠道新会话带新版本号,其他渠道仍是旧版本号,然后执行回滚,确认新会话立刻回到旧版本号。这三步比任何「我们有配置管理」的说明都具体。
达希科技把提示词接到客服或内部问答时,会先把底线规则和活动补充拆开,给发布、灰度和回滚留记录,再允许业务方自己提交活动句。如果现在生产提示词还能被直接保存且没有上一版,应先补版本和回滚,再继续改措辞。
| 变更类型 | 谁可以提交 | 怎样上线 |
|---|---|---|
| 禁止承诺、拒答规则 | 客服制度负责人,工程实现 | 评审加题单,灰度后再全量 |
| 活动补充句 | 营销或客服主管 | 带起止时间,到期自动撤下 |
| 语气和篇幅 | 客服主管 | 可灰度,但不得改动底线规则 |
| 回滚 | 值班负责人 | 切回保留的上一版编号,并记下原因 |