洞察 · 組織與人
規則會老
設想一家網店的客服助手。上線那天,它按公司的退換貨政策和運費規則起草回覆,準確得讓客服同事驚喜。
三個月後,公司把退貨期由三十天改為十四天,免運費的門檻也調高了。沒有人想起要更新系統裡的規則。客服助手照舊工作,照舊流暢,照舊自信——引用的是舊政策。
第一次因此被客人投訴之後,客服同事不再相信它,悄悄回到自己記在筆記本上的答案。系統沒有壞,是它學會的規則老了。
AI 錯得特別理直氣壯
傳統軟件出錯,通常會報錯、會卡住,至少看起來不對勁。AI 出錯時,文字依然通順,格式依然整齊,語氣依然肯定。錯得越流暢,越難被發現。
這意味着 AI 系統上線之後,不能只等它「壞了再修」。它不會壞給你看,它只會慢慢偏。
偏差從四個地方來
- 業務變了。價格、政策、產品、流程,每一次調整都可能讓系統裡的規則過時。
- 資料變了。新類型的客人、新格式的文件,系統沒見過,就只能猜。
- 用的人變了。新同事的問法和老同事不同,系統的表現也會跟着變。
- 模型變了。供應商更新了底層模型,同一個問題可能得到不同的答案。
四樣之中,前兩樣最常見,也最容易被忽略——因為改政策的人,通常不知道政策也寫在系統裡。
三個角色,缺一不可
讓規則跟上,需要三種角色:
發現偏差的人。通常是前線,他們每天看着系統的輸出,最先知道哪裡不對。要讓他們有一個順手的地方記下來,而不是心裡嘀咕一句就算。
批准修改的人。必須是懂業務的人,不是技術人員。改一條退貨規則,是業務決定。
執行修改的人。負責把批准的改動放進系統,並保留舊版本——改錯了,要退得回去。
很多系統上線時,只安排了第三個角色。
一個簡單的習慣
每月開一次十五分鐘的「錯例會」:把這個月 AI 答錯、或被人手改過的例子拿出來,逐一決定——改規則、補資料,還是接受它就是會錯。
再盯一個數字:AI 輸出被人手修改的比例。這個比例若一個月比一個月高,規則正在老化,不必等客人來告訴你。
上線那天,是它開始變老的第一天
AI 系統不是做完就完的工程,更像一位需要定期帶教的新同事。誰負責發現問題、誰批准修改、誰執行,這些要在上線之前就寫下來。
規則一定會老。差別只在於,你是第一個知道,還是最後一個。
見遠知行 · 見於遠,成於行。