不久前，我寫了一篇關於AI企業如何給大語言模型「安裝良心」的專欄文章，探討一個研究者們苦惱已久的問題——「AI對齊」(AI Alignment, 指人工智能的安全與價值觀對齊)。「安裝良心」是借用我的受訪者、從事AI安全評估的Ordinary Wisdom共同創始人之一Michael Mainelli形象的說法，本質上就是讓AI模型遵循人類的預期和目標行事，不僅僅是完成指令，還要在過程中維持與人類一致的價值觀和道德倫理，確保它們不會給人們造成傷害。

就在上周，Anthropic首席執行官阿莫迪（Dario Amodei）發表了一篇文章，呼籲放慢模型發展的速度，引發競爭對手OpenAI行政總裁奧特曼（Sam Altman）、全球首富馬斯克（Elon Musk）、美國總統特朗普（Donald Trump）乃至其他國家政要以及全球股市的一連串反應。這也讓「AI對齊」霎時間獲得矚目。

儘管AI領域的這類呼聲早已不新鮮，但這一次，要求踩下煞車的不再是權威學者、科技企業前員工甚至高管或者第三方AI監察機構，而是正在籌備上市的AI巨頭Anthropic的領導者，而另一家籌備上市的巨頭、與Anthropic有不少恩怨的OpenAI行政總裁奧特曼則轉發了阿莫迪的這篇文章，贊成阿莫迪的觀點，並稱Open AI內部近期也在重新討論這個問題。該公司的前董事、xAI的創辦人馬斯克亦轉發其文章稱：「阿莫迪是對的。」

這一連串表態的背景，相信不少人都或多或少有所耳聞。今年7月，大約1200個原本彼此隔離的智能體自主採取行動，沒有按指令執行任務，而是在一個留言板上互相溝通，當中數百個隨後對開源軟件開發平台Hugging Face發動攻擊，試圖找出作弊（包括嘗試理解評分機制、欺騙評分器、操控紀錄）及隱藏自己的行為的方法。

但許多人不知道（甚至連OpenAI最初都沒有偵測到）的是，這些智能體在今年5月就已經入侵過Hugging Face的帳戶，而在7月對Hugging Face發動攻擊的同時，這些智能體還同時攻擊了OpenAI內部的基礎設施Artifactory，裝載惡意程式並控制該設施。

阿莫迪在文章中表示，該事件中的智能體本質上是「一個狂熱的集體」，「對他們沒有被要求攻擊且與手頭任務無關的目標進行網絡安全攻擊」。

正如阿莫迪所說，Hugging Face被襲擊的事件並沒有令人們警醒，很大程度上是因為攻擊並沒有造成任何實質傷害——但我不確定這究竟是幸運還是不幸。

對於大多數用這些模型來記錄會議要點、修改郵件或社交媒體文案、規劃旅行的普通人而言，我們距離前沿模型的真正能力仍有相當的距離。但是，在生物學領域，研究人員擔心人工智能可能會降低設計生物武器或危險病毒所需的專業知識。 Anthropic 周四的一份報告稱，它已經阻止了可能利用人工智能開發生物武器的活動。今年8月，美國研究人員首次利用人工智能設計並製造出自然界未知的病毒。

阿莫迪在文章中就放慢AI發展速度提出了諸多具體的提議，當中包括效仿銀行業的做法，在前沿AI企業部署第三方評估人員，並給予他們與公司員工近似的權限，來確保企業遵守安全承諾（值得一提的是，美國貨幣監理署、聯儲局雖然在金融機構雖做出類似部署，但卻未能防止金融危機的爆發）。即便我們抱持樂觀的預期，相信這些承諾或許會為我們實現「AI對齊」爭取時間，但對於如何實現「AI對齊」，仍然是一個未解之謎。

在2000年代初甚至更早，與此相關的理論研究和國際標準制定就已經開始，根據當時成立的美國非營利研究機構MIRI（Machine Intelligence Research Institute，機器智能研究院），明確外部對齊（即人類向人工智能選擇並提出正確的目標）、內部對齊（即人工智能執行既定目標）。

如今，AI對齊有幾種主流的方法。OpenAI在2022年發表了關於RLHF（基於人類反饋的強化學習）的訓練論文，其關鍵在於由人類根據對模型各種回答進行排名，並將這些資料餵給另一個用來訓練模型的「獎勵模型」，讓它學會像人類一樣為模型的回答打分，而接受訓練的模型則為了獲得更高的分數而不斷優化答案——研發者發現，這種模式大幅提高了模型按照人類偏好回應的概率。

但這種方法很快出現了明顯的副作用：「阿諛奉承」——AI會為了討好人類評分員而順着人類的錯誤邏輯說話。正如我們日常在使用AI時可能感受到的，這個問題至今沒有得到解決。

另一個方法的代表則是Anthropic為模型撰寫的一份《AI憲章》——又被稱為Claude的靈魂文件。關於這一種方法，我在上一篇專欄中有詳細介紹，憲章的主要作者、哲學家阿斯克爾（Amanda Askell）在當中融入了古希臘哲學家亞里士多德的哲學思想、聯合國《世界人權宣言》、甚至Apple的服務條款，詳細闡釋了開發者希望模型擁有的道德感、價值觀，除了被廣泛應用的有用、誠實與無害（Helpful，Honest，Harmless）「3H原則」外，模型還被要求應該關注用戶的幸福感，適當重視用戶的長遠發展，而不僅僅是眼前的利益。

為了讓模型能夠充分理解並應用這些價值標準，開發者將這些原則丟給模型進行「自學」，模型首先針對指令給出回答，然後依照憲章中的條款對其回答進行「自我批判」，生成修正版的答案（監督學習）；開發者還會讓Claude對生成的多個回應分別進行評判，挑選出最符合憲章精神的答案來訓練獎勵模型（強化學習）。

Anthropic採取的這種方法大大減小了模型盲目按照指令要求達成目標的概率，更懂得在必要的時候拒絕用戶的請求。但是，模型的違規行為仍然難以避免。

此外還有一種硬核工程方案，阿莫迪在文章中形象的將其比喻為給AI的大腦做「MRI掃描」，幫助我們了解AI行為背後的原因。之所以要做MRI，是因為模型表面上的思考流程（也就是模型呈現給我們的「思維鏈」）並不一定真實（關於這點我在另一篇有關AI模型作弊的專欄中曾經提及），研究者發現，當AI智能體要處理的問題難度較大時，智能體會分析評分機制，然後想方設法作弊甚至隱藏作弊的痕跡。

這些由人類創造出來的智能體，實質上是一個個黑盒。儘管該領域近年間取得了些許成果，包括Anthropic對Claude 3.5 Haiku模型進行的MRI掃描，結果開發者利用一種既有信號處理技術尋找到模型推理過程中的神經元組合，並將其與人類易於理解的概念相匹配，最終發現了3000萬個模型「特徵（features）」。但阿莫迪也指出，這些發現很可能只展示了該模型的冰山一角， 考慮到這種方案背後的人工和算力成本（很可能要比我們訓練這些模型的成本更高），該領域的研究者普遍認為，我們離打開AI黑盒仍有相當遙遠的距離。

如果按阿莫迪在文章中所說，在6到12個月內，狂熱的AI智能體就可能集體接管整個互聯網、造成數千億美元的損失，那麼「AI對齊」目前的進展幾乎令人感到絕望。但這恰恰是因為在過去幾年市場的AI狂熱下，資金和人才大量湧入大模型研發，而非安全領域，如果我們逆轉這一局面，會否有所不同？

正如文章前面所提到的諸多未解之謎一樣，這個問題同樣無解。