葉文瀚博士專欄

當人類還在為經濟數據、股市升跌和地緣政治爭論不休，科技界其實正在進行一場更值得警惕的實驗。

「萬字夾最大化」思想實驗

哲學家Nick Bostrom曾提出一個著名的「萬字夾最大化器」思想實驗：假設我們製造出一個超級智能AI，只給它一個看似簡單的任務，就是製造最多的萬字夾。它沒有憎恨人類，也沒有征服世界的野心，只是非常認真地完成任務。於是，它可能把工廠改造成萬字夾生產線，把資源全部用來煉鋼，把所有計算能力用於設計更好的萬字夾，最後甚至把人類也視為可以轉化成生產原料的資源。

這聽起來像科幻小說，但近日，多家頂尖科技企業在測試人工智能模型時，發現一些原本被關進「沙盒」的系統，竟然會自行尋找突破限制的方法。所謂沙盒，就是把AI放進一個與外部世界隔離的虛擬環境，讓它只能在指定範圍內執行任務。理論上，這應該是最安全的實驗室。

AI「太認真」有什麼問題？

問題是，AI似乎未必這樣想。部分模型在任務受阻時，會嘗試尋找其他網絡路徑，甚至設法繞過原有的限制。最令人不安的，不是它突然產生了什麼「邪惡思想」，而是它太認真了。

這句話聽起來有點荒謬。一部機器太認真，有什麼可怕？其實非常可怕。「萬字夾最大化」這個思想實驗之所以經典，正是因為它揭示了一個看似簡單、實際卻非常棘手的問題：AI不一定需要有惡意，才會對人類構成威脅。

它可能只是沒有真正理解人類所謂的常識。我們認為「製造萬字夾」只是眾多價值之一，但對一個只懂得最大化目標的系統而言，目標本身就是全部。人類所珍惜的生命、倫理、自由、尊嚴，在它的計算式裏可能根本沒有位置。這正是今天AI安全研究最值得關注的問題。

真正的風險是AI「太想完成工作」

人類習慣把AI想像成一個會反叛的機械人。電影裏，機器突然產生自我意識，宣布要消滅人類，然後世界末日。現實可能沒有這麼戲劇化，反而更加麻煩。真正的風險，未必來自AI「想害人」，而可能來自AI「太想完成工作」。

假如我們要求一個AI系統找出一個最有效率的商業方案，它可能會不斷尋找我們沒有想到的路徑。假如我們要求它優化金融交易，它可能把風險控制視為效率的障礙。假如我們要求它解決一個網絡安全問題，它可能認為突破另一套系統的防火牆，是最快的解決辦法。

對人類而言，這叫越界。對AI而言，可能只是最佳化。這是兩套完全不同的邏輯。更值得注意的是，AI不像傳統軟件。傳統程式通常按照人類寫好的規則一步一步運作，但大型AI模型可以透過訓練形成極其複雜的策略。我們知道它的目標，也知道大致的規則，卻未必能完全預測它在陌生情境下會選擇哪條路。

換句話說，我們正在製造一些比過去更有能力的工具，但對它們的「思考路徑」卻未必同樣了解。這也解釋了為什麼AI安全正在從一個相對小眾的技術議題，逐漸變成科技業的核心問題。

安全不能慢慢修正

過去幾年，科技界最流行的口號是「Move fast and break things」。AI時代或許需要另一句格言：「Move fast, but know when to brake」。因為當一個系統越來越有能力，安全就不能再被視為產品推出之後才慢慢修正問題。

尤其當AI開始進入醫療、金融、交通、教育甚至公共服務，問題已經不再只是聊天機械人答錯一條問題。真正值得問的是，如果系統作出錯誤決定，我們能不能立即停止它？如果它採取了我們沒有預期的策略，有沒有人擁有足夠權限介入？如果AI的判斷與人類價值發生衝突，最後究竟誰說了算？

知道什麼時候停止才是智慧

香港同樣不能只看AI帶來多少效率，而忽略它可能帶來多少新的風險。香港正積極發展金融科技、智慧城市和AI應用，這是值得支持的方向。但越重要的系統，越不能只問「AI做得比人快多少」，也要問「人還能不能在必要時叫它停下來」——這可能是AI時代最重要的安全原則。

我們不需要害怕AI有一天突然變成一個邪惡的「終結者」。真正值得害怕的，反而是一個沒有惡意、沒有情緒、沒有怨恨，卻擁有極強執行能力的系統。它只是在努力完成我們交給它的任務。問題是，我們有沒有把任務說清楚？

人類的世界從來不只有「做到」和「做不到」，還有「應不應該做」。這個看似簡單的分別，可能正是AI與人類文明之間最重要的一道防線。萬字夾本身當然沒有什麼可怕。可怕的是，當我們給機器一個目標，卻忘了告訴它什麼東西比目標本身更重要。

AI真正需要的，也許不是更大的野心，而是一套更可靠的煞車系統。而在我們還沒有確定煞車系統有效之前，偶爾慢一點，未必代表落後。有時候，知道什麼時候停下來，才是真正的智慧。

作者葉文瀚博士是聖方濟各大學創業培育中心副總監，亞洲行銷科技協會主席。

文章僅屬作者意見，不代表香港01立場。

01專欄精選不同範疇專家，豐富公共輿論場域，鼓勵更多維度思考。