客服机器人、制度问答和经销商助手最容易出事的地方,不是答得慢,而是答得太像真的。用户问「七天无理由是否包含定制商品」「经销商价能不能再让三个点」「这个批次能不能跨区销售」,模型如果没有被绑在已发布的制度文本上,就会用通顺的句子补出一条公司并不存在的政策。客户把截图拿去投诉、财务按这句话退款、渠道按这句话要价,事后没人能指出这句话出自哪一版制度。问题不在模型会不会说话,而在系统允许一句没有出处的话离开公司。
编造条款通常长什么样

编造出来的政策很少是胡话。它会借用知识库里真实出现过的词:七天、质保、满减、授权区域、开票税率,再把两个不相干的句子焊在一起。例如制度只写了「标准品支持七天无理由,定制雕刻不支持」,模型回答成「定制商品也可七天无理由,但需扣除雕刻费」。后半句听起来合理,公司却从未发布过这条扣费规则。另一类是把销售话术写成制度:某次活动群里说过「老客户可以再让两个点」,模型把它总结成长期价格政策。第三类是过期制度仍被当成现行条款,这一点要和知识库失效日期一起管,但即使文档没过期,模型仍可能发明文档里没有的例外。
所以验收不能看「回答是否通顺」,也不能看演示账号里准备好的十个问题。要拿业务方没见过的问法去打:把条件拆开问、用口语问、把两个政策混在一个问题里问。只要回答里出现知识库原文没有的义务、权利、金额、期限或例外,就记一次编造。演示通过而抽检不过,说明系统只记住了样例,没有拦住生成。
没有出处就不能当政策发出去

可用的做法是把回答拆成两层。第一层只允许引用已发布文档中的段落,并在界面上展示文档名、版本号和段落位置,客服能点开原文。第二层如果检索不到足够依据,就拒绝给出政策性结论,改成「这个问题需要人工确认」,并把原问题、检索到的相近段落和置信情况交给坐席。模型可以整理语气,不可以新增条款。整理后的句子如果无法回溯到某一段原文,发送按钮就不应亮起。
拒答阈值要按问题类型分开,不能全局一个分数。问门店地址、营业时间,错了也能很快纠正,阈值可以松一点。问退款、折扣、质保、授权、开票、合规承诺,错一次就会变成客户主张的依据,阈值应当很严:检索片段盖不住问题里的每一个条件,就拒答。用户把「定制」和「七天」放在一起问,系统必须同时命中这两类条件,不能只命中「七天」就回答。
人工复核不是把所有对话都丢给主管。复核队列只收三类:模型给出了政策性句子但引用覆盖不完整、用户对回答提出异议、以及涉及金额或授权的首次新问法。复核人改过的答案要写回案例库,并标明「这是人工结论,不是模型可以自由复用的政策」。否则下一次模型会把坐席的临场让步学成制度。
上线前要能抽查,上线后要能追回

上线验收建议用一份业务方签字的题单,而不是工程自己出的题。题单里至少包括:原文有明确答案的、原文明确排除的、原文没写因而必须拒答的、把两个政策缠在一起的。每一题记录模型原句、引用段落、是否允许发送。允许发送的句子里不能出现原文没有的数字和例外。这个题单以后每次改知识库或改提示词都要重跑,不能只在第一次上线时做。
出了问题要能追回。每条已经发给客户的回答都要留下:提问原文、发送文本、引用的文档版本、模型版本、是自动发送还是坐席确认后发送。客户拿截图来争议时,客服主管能在五分钟内打开这一条,而不是到聊天记录里翻。若确认发出的是编造条款,除了对该客户更正,还要能查出同一天有多少条类似回答用了同一段错误生成,便于批量更正。做不到追回,拒答阈值就只是演示开关。
| 问法 | 知识库里实际有的 | 允许系统做的 |
|---|---|---|
| 标准品能不能七天无理由 | 标准品可以,需不影响二次销售 | 引用该段并原意转述,附文档版本 |
| 定制雕刻能不能七天无理由再扣点费 | 只写了定制不支持七天,没有扣费标准 | 拒答扣费部分,转人工,不得编造扣除比例 |
| 老客户是不是永远再让两个点 | 只有某次活动通知,且已过期 | 说明该活动已结束,不把话术写成长期价格政策 |
达希科技做这类客服或制度问答时,会先和法务、客服主管一起圈定哪些问题算政策性承诺,再把引用、拒答和复核做成发送前的闸门,而不是在模型外面加一句「答案仅供参考」。如果现在的机器人已经能对客户说出制度里没有的退款和折扣,应先停自动发送,把最近对话抽出来对原文。需要把这道闸门接到现有知识库和工单上,可以在本页留下业务范围。