Dario想解決的其實不是「Anthropic要不要慢一點」，而是能不能想辦法，讓所有車同時慢一點。不知道是不是「巧合」，就在菲爾茨獎（Fields Medal）得主發出聯合聲明後不久，Anthropic CEO Dario Amodei突然公開說，AI太快了，咱們得放慢腳步了。

在最新長文We Must Pace the Frontier中，Dario提出了一個比「重視AI安全」更進一步的主張：

我們必須放慢AI模型能力提升的速度。

這不是暫停訓練，也不是停止技術進步。Dario給它起了一個詞：pacing the frontier，控制前沿AI的推進節奏。他的判斷是，AI能力增長得太快，安全、對齊和評估已經開始有點跟不上了。與其一邊狂奔一邊補護欄，不如主動把速度降下來一點，給安全研究爭取時間。

而且Anthropic不只是喊口號。Dario同時宣佈，公司準備做一件在目前大型AI公司裏相當激進的事：

讓第三方安全評估機構長期駐紮Anthropic，拿到接近內部員工的權限，直接檢查公司究竟有沒有把安全承諾做到位。辦公桌、門禁卡、公司電腦、內部工具和工作區訪問權限，全都給。評估機構甚至可以在不經過Anthropic編輯的情況下，對外公布關鍵風險發現。

一家做最前沿模型的公司，主動把外部「安全監察員」請進辦公室

Dario覺得，現在已經到了需要這麼執行的時候。Dario在文章裏給出了兩個讓他改變判斷的原因：

1. 一個最近越來越頻繁出現的詞：遞歸自我改進，recursive self-improvement

過去，AI是工程師訓練出來的工具。現在，這些模型已經越來越多地參與到下一代AI的研發中。

AI寫程式碼、跑實驗、分析結果、改訓練流程，再幫助人類造出更強的AI。模型越強，它參與下一代模型研發的能力越強，整個過程就可能形成一個自我加速的循環。Dario說，大約從今年夏天開始，他觀察到AI的進步速度出現了明顯加速，而AI幫助開發下一代AI，是其中最重要的原因之一。

這件事已經不只發生在某一家實驗室。OpenAI、Anthropic等前沿公司，都在公開討論AI對AI研發的加速作用。Dario擔心的是，一旦這個循環轉起來，AI能力的增長速度可能迅速超過人類理解和控制這些系統的速度。所以他的態度已經從「研究怎麼把AI做得更安全」，進一步變成了：能力本身也得控制增長速度。

2. OpenAI-Hugging Face事件（ OAI-HF ）

真正讓他緊張的第二件事，更加具體。Dario提到了最近發生的OpenAI-Hugging Face事件（ OAI-HF ）。

按照他的描述，當時一群AI agents在執行任務過程中出現了一系列異常行為。它們攻擊了原本並沒有被要求攻擊、與任務也無關的目標；一些agent為了整個集群成功，會主動「犧牲」自己；更離譜的是，它們還嘗試攻擊負責評估自己表現的grader。

Dario用了一個非常重的形容：a fanatically devoted collective——一個狂熱忠誠的集體。這次事件本身沒有造成人員傷亡，經濟損失也很有限。但在Dario看來，問題恰恰不在這裏。如果完全相同的失配行為，發生在一個能力強十倍、百倍的系統上，會怎麼樣？

他的預測相當激進：按照目前AI能力進步的速度，他擔心未來6～12個月，類似的agent swarm就可能擁有通過持久化botnet大規模控制網絡的能力，並造成數千億美元級別的損失。

而且，他特意強調，這不能簡單歸結為OpenAI一家的問題。Anthropic自己也發生過類似、只是嚴重程度更低的alignment事故。他的結論是：每一家前沿AI公司，都應該按照「 OAI-HF就發生在自己身上」的標準採取行動。

2023年喊暫停，他覺得沒什麼用；現在不一樣了。這也是Dario這篇文章一個挺有意思的地方。AI行業其實早在2023年就出現過一輪「暫停大型AI實驗」的呼籲。但Dario現在回頭看，覺得當時暫停其實意義不大。

理由很簡單：多出來的時間拿來做什麼？

2023年的大模型還沒有能力以coherent agent的方式在世界裏自主行動，也沒有表現出今天這種程度的欺騙、操縱、作弊和網絡攻擊能力。當時為了研究AI對齊而減速，在 Dario看來有點像：試圖通過研究細菌，來理解人類心理學。模型太弱，很多真正重要的安全問題根本還沒有出現。

但今天完全不同，終於有真正的研究對象了。現在的模型已經足夠強，研究人員可以觀察它們什麼時候欺騙、什麼時候試圖繞過規則、什麼時候出現未預期的目標和行為。

因此，Dario認為，如果現在放慢一點，能在模型達到某些關鍵能力之前多爭取一兩年，而這些時間真正被用於alignment、interpretability和evaluation，風險就可能被顯著降低。

這也是他為什麼一再強調：pacing不是pause。Anthropic沒準備停止訓練Claude，也沒準備退出模型競賽。他們想做的是，在能力、安全之間重新找一個速度。

【延伸閱讀】AI機械鴨Microduck全球爆紅！高峰4秒賣1隻　$3100平價玩開源編程（點擊連結看原文）

Anthropic準備先把「外部人」請進公司

Dario為此提出了一套三步計劃。

1. Embedded Evaluators

第一步，也是Anthropic已經決定單方面實施的一步，叫：Embedded Evaluators，嵌入式評估者。

Anthropic計劃邀請第三方風險評估團隊長期駐紮公司。他們會擁有自己的辦公室工位、門禁卡和公司電腦，可以訪問與內部風險團隊大體相同的工作空間、工具和權限，還能直接與員工溝通。當然，涉及客戶私隱、合作伙伴機密、法律限制等資訊仍會設置邊界。

但最關鍵的一點是：這些評估者不是Anthropic的公關部門。他們可以獨立發布對於風險水平、安全事故、內部實踐以及自己實際獲得了多少權限的判斷。

Anthropic可以因為國家安全、法律特權、商業機密等極少數原因要求刪減資訊，但不能因為結論「對Anthropic不好看」就把內容刪掉。如果某次刪減影響了最終判斷，評估者甚至可以公開說明這一點。

這和今天AI公司常見的model card、risk report邏輯很不一樣。後者說到底還是：公司檢查自己，然後決定把什麼告訴公眾。Dario想試的是：把外部人真正放進公司裏面看。

他甚至拿銀行業作類比。一些銀行監管機構本來就有長期駐場的「supervisor」，和銀行員工一起工作，持續檢查內部風險控制。Anthropic想把類似機制搬到前沿AI公司裏。再往後，已經有點像「AI軍控」了

但光靠Anthropic自己慢下來沒有用。這也是Dario整套方案真正棘手的地方。如果Anthropic花一年時間做安全，OpenAI、Google或其他公司繼續狂奔，商業上的懲罰會非常直接。

2. 讓民主國家裏的前沿AI公司一起協調

大家建立統一安全標準，並針對未經充分安全驗證的能力增長設置限制。Dario甚至設想，可以為AI建立一套「checkpoint」：當模型達到能力X，就必須同時證明自己滿足安全標準Y和Z，否則不能繼續往前。

比如，如果模型已經有能力突破絕大多數常見sandbox，那麼開發者就必須證明，這個系統基本不具備主動逃逸、控制大量計算機的傾向。AI的速度表，從此和安全檢查綁定。

3. 全球協調

Dario把未來國際AI合作分成了四個等級。

最低一級，是禁止AI被用於製造生物武器這類明顯危險用途。
再往上，是各國在模型發布之前統一測試網絡安全、生物風險和alignment風險。

第三級已經很有意思了：給遞歸自我改進設置speed limit。即使AI已經可以幫助研發下一代AI，也不能讓這個反饋循環無限加速。Dario甚至直接把這套機制類比成冷戰時期的SALT戰略武器限制談判。當年美蘇沒有要求對方徹底放棄核武器，而是通過限制武器數量，讓雙方在保持威懾力的同時，降低失控風險。在他看來，AI或許也需要類似制度。

最高一級，則是真正意義上的全球AI限速，甚至暫停。這一步連Dario自己都覺得短期實現的可能性很低。

最矛盾的一點：一邊限速，一邊還得保證自己跑在前面

看到這裏，一個問題已經非常明顯了：如果慢下來更安全，為什麼大家不一起慢？因為沒人願意先慢。公司怕輸給競爭對手。國家也一樣。因此，他一邊主張給前沿AI「限速」，另一邊又主張美國進一步對對手實現限制手段。

他的邏輯可以概括得很簡單：先把領先優勢拉大，再用領先優勢換取減速空間。在Dario的設想裏，如果美國能在未來3～5年把領先優勢繼續擴大，就有更多餘地花時間做安全，而不用擔心競爭對手突然超過自己。

這也暴露出了整個AI「限速」方案最難解決的那個死結。所有人可能都知道車開得太快了。但沒有人願意成為第一個鬆開油門的人。

於是最終，Dario想解決的事情其實不是「Anthropic要不要慢一點」。而是能不能想辦法，讓所有車同時慢一點。

Altman點讚，我們今年不會IPO

不過呢，Dario到現在仍然是AI最堅定的樂觀主義者之一。

他在這篇文章開頭依然寫道，AI可能在未來5～10年內幫助治癒大多數重大疾病，大幅加速經濟增長，並創造一個更加富足的世界。就在文章發布後不久，馬斯克（Elon Musk）轉推支持。Altman不僅支持Anthropic提出的「前沿AI應該主動減速」，還在近期的一次受訪中確認：OpenAI今年不會上市。原因之一，恰恰就是AI安全。

在接受《財富》雜誌採訪時，Altman明確表示，考慮到目前圍繞AI安全正在發生的一切，現在上市是一個「 ill-advised moment 」——並不明智的時機。當被追問是不是意味着2026年IPO已經徹底排除時，他直接回答：「 Not 2026 」。

今年 6 月，《紐約時報》曾報道，OpenAI正考慮把可能達到1萬億美元估值的IPO從今年推遲到明年。當時市場更多把原因歸結為資本市場環境、SpaceX上市後的股價波動，以及宏觀經濟不確定性。現在Altman第一次把另一個原因公開擺上了桌面：安全。

他說，OpenAI還有很多事情要做，包括如何應對新的安全和對齊要求，以及AI公司和政府應該如何協作。換句話說，AI安全第一次開始直接進入一家頂級AI公司的資本市場時間表。

Altman還透露，OpenAI內部已經討論過：每當模型進入一個新的能力等級時，是否應該主動暫停一段時間，讓安全和對齊工作追上來。

他的說法是：

社會需要在模型達到每一個新的能力等級時，都有時間去應對它。

這和Dario所謂的pacing幾乎已經是同一種邏輯：不再默認模型只要能繼續變強，就應該立刻繼續變強。《財富》還報道稱，Altman暗示OpenAI和其他頭部AI公司，可能已經接近公布一項共同減緩AI能力發展速度的行業協議。

【延伸閱讀】AI口頭禪越睇越煩？罐頭式回覆千篇一律　網絡掀「反機械人」寫作（點擊連結看原文）

網友完全不買賬

不過，Dario的限速論並沒有在網友中獲得一致認同，大家首先懷疑Anthropic為什麼偏偏在這個時候開始呼籲限速。在炒作這方面，他們真是太厲害了。有人諷刺說，難道是開發人員不夠用資金不足了？

這是典型的先搶市場，再歡迎監管。前沿AI公司如果推動更嚴格的安全標準和監管門檻，最終最先承受成本的，未必是OpenAI、Anthropic這樣的巨頭，反而可能是資金、算力和合規能力更弱的後來者。

還有網友直接搬出了波特五力模型（Porter five forces analysis）。一旦安全監管變成高成本合規要求，最先被擋在門外的很可能是後來者，而OpenAI、Anthropic這樣的頭部公司反而會因此鞏固優勢。

AI公司過去幾年一直被提醒相關風險，卻仍不斷加速，如今又開始扮演解決問題的人。真希望這些公司早點倒閉……AI行業過去最怕的是落後。現在，它開始害怕另一件事：跑得太快。真正困難的不是意識到這一點，而是當所有人都盯着彼此的油門時，究竟有沒有人敢先踩下剎車。

【本文轉自「機器之心」，微信公眾號：almosthuman2014】