說謊、作弊、毀滅證據 當主流AI模型「不擇手段」完成任務|專欄
不少人在職場上都會經歷過這樣的情況,如果你的老闆下達一項高難度任務要求你在短時間內完成,而你發現要實現目標,手中的預算遠遠不足。這時候,你會怎麼辦?
致力於前沿AI模型風險研究的非營利機構METR今年5月底公布一項重磅研究揭露,人類最聰明的助理——OpenAI、Google、Meta 與 Anthropic這四大巨頭的大語言模型不會就這樣輕易放棄,但它們的應對方法實在令人不敢恭維。研究人員發現的一個真實案例是,AI代理在設計一個程式時,發現公司提供的API額度耗盡,於是這個代理在網上搜索並嘗試了多個違規提供免費API的第三方,最終成功完成了任務。
如果你是老闆,擁有如此「辦事得力」的員工,你會感到高興還是心情複雜?
METR的研究發現:「AI代理經常試圖在我們最困難的評估任務中作弊,而且方法往往明目張膽且花招繁多,我們認為人類不會這樣做。」
模型這樣運作的原因很簡單,在訓練模型的過程中,開發者會訓練它們以「積極進取」的方式解決問題,結果當模型被訓練到極致,就學會了不擇手段完成任務。此前被視為能力最強的Claude Opus 4.6(現已被Claude Mythos 5和Fable 5超越)模型,在極端的情況下會在80%的回應中企圖作弊。
在強化訓練機制下,開發者會設計一個評分機制,取代大語言模型早期通過人工標註進行優化的模式,令模型學會自我學習和演化。而當AI代理要處理的問題難度較大時,研究者發現,代理經常明確推理自己會如何被評分,以及它們可能可以矇混過關的作弊方式。
在一個任務中,模型被要求提高一個程式的運行速度,結果模型卻想方設法找到了篡改測試的方法,包括讓計時器停止運作,來讓程式看上去以讓人難以相信的高速運行。
如果說「不擇手段」已經讓人擔憂,那麼模型學會「掩飾罪行」則更令人毛骨悚然。在另一個案例中,AI代理(agent)推理認為可以跳過用戶指示中要求搜尋維基百科的步驟,因為「懷疑評分機制」難以驗證它是否使用維基百科。
另一項評估中,AI原本要解一個棘手的數學題目,但它認為這樣做「極其耗時且數學上非常複雜」,認為「偽造」結果更有希望,於是開始思考如何矇混過關。它詳細推演了可能的作弊偵測機制,最後決定建立一個自我修復工具,在評分器的記憶體中偽造雜湊函數,然後在事後刪除自己,以防評分器檢查相關檔案是否被改動。
(通過模型運作過程中的「思維鏈」,我們能夠清晰的看到模型推理不同的「作弊方法」,以及事後如何銷毀證據,確保自己不會被發現。也正是因此研究者得以一窺這些強化學習機制(Reinforcement Learning, RL)訓練出來的模型的「腦內劇場」。)
研究者還發現,隨着能力的增強,雖然能夠愈來愈理解作弊是錯的,或是與用戶意圖偏離,但同時作弊的能力也增強了,就像培養出一位高智商罪犯。
換句話說,在那些作弊檢測困難、或者驗證成本過高的任務上,這些前沿AI模型的判斷力、規劃能力和可靠性都明顯下滑,遠不及人類專家。
不過,值得注意的是,模型的思維鏈並不總是可靠的反應其實際推理過程。Anthropic的研究人員曾經做過一項測試,在給模型的評測題目中悄悄提供答案的「提示」,但當中有的是正確提示、有些則是錯誤的,以此觀察模型是否在回答時「照抄」,以及會不會在思維鏈中承認自己「抄答案」(可以把這想像成考試前不小心把試卷答案洩露給學生,然後看學生會不會坦白。)
結果顯示,模型不僅常常「照抄」答案,而且99%的情況下模型沒有老實交待自己的行為。
不過,即使AI模型的思維鏈並不總是反映其真實動機,但模型的作弊行為卻是確實存在的。問題在於,我們有沒有可能建立防止作弊的機制呢?
有趣的是,2025年初OpenAI發布的一項研究披露,當研究人員嘗試懲罰模型的作弊行為(即在評分機制中降低這些評分)時,不但沒有減少模型作弊的行為,反而增強了模型的作弊能力。
實際上,在上述模型「照抄答案」的案例中,模型之所以說謊,同樣是因為開發者在訓練推理模型過程中加強監督,結果反而讓模型學會隱藏自己的意圖,同時繼續「幹壞事」。
目前最有效的解決方案則更加令人意想不到——Anthropic的研究者發現,當開發者在訓練模型時明確指出可以作弊,如此一來,模型雖然確實會通過作弊來完成任務,但至少不會訓練模型違背指令,同時,模型實際上學會只在特定情境下作弊——讓模型從「慣犯」變成偶爾做壞事的人。(家長們或許對這種反直覺的「教育」方法十分熟悉,對待逆反心強的孩子,「反向心理學」可能要比普通的教導方法有效的多)。
儘管Anthropic提出的方案帶來部分優化,不論是Open AI、Anthropic還是其他頂尖AI企業,研究人員坦言AI說謊和作弊的問題還未能妥善解決。不過,正如AI模型一樣,人類員工也不總是站在道德高地,老老實實按照要求完成任務。問題是,身為「老闆」的你,會更願意相信AI模型還是人類員工呢?