葉文瀚博士專欄

40多年前，人類其實已經有過一次非常接近「P(doom)」（AI界的末日機率）的時刻。當時沒有ChatGPT，沒有生成式AI，甚至連今天我們習以為常的互聯網也不存在，但人類曾經因為一套預警系統的錯誤訊號，差點走到核戰爭的懸崖邊。每逢9月26日，筆者總會想起那場差點改寫人類命運的危機，以及當時作出關鍵判斷的蘇聯軍官斯坦尼斯拉夫．彼得羅夫（Stanislav Petrov）。

對大多數香港人而言，彼得羅夫這個名字或許相當陌生，但今天當科技界愈來愈熱烈討論人工智能的「P(doom)」，即AI最終導致人類文明遭遇災難甚至滅絕的可能性時，他的故事反而比任何一個未來預測都更加值得我們重新思考。

一個錯誤警報，差點改寫歷史

1983年9月26日，正值冷戰最緊張的年代。彼得羅夫當時在蘇聯核預警指揮中心當值，突然之間，警報響起，電腦系統顯示美國向蘇聯發射了洲際彈道導彈，警報其後更顯示有多枚導彈正在來襲。按照當時的軍事程序，彼得羅夫應該立即向上級報告，由軍方高層再向蘇聯最高領導層匯報，並作出是否核反擊的判斷。當時從導彈發射到抵達蘇聯，可能只有短短十多分鐘，根本沒有太多時間可以慢慢思考。

換句話說，如果彼得羅夫把警報當成真的，整個決策鏈便可能被啟動，而蘇聯一旦作出核反擊，美蘇之間便可能迅速滑向一場誰也無法收拾的核戰爭。第三次世界大戰是否真的一定會發生，歷史當然無法證明，但當時距離一場災難性的核衝突，確實可能只隔着一個錯誤判斷。

然而，彼得羅夫沒有立即相信電腦。他冷靜分析後認為，如果美國真的決定發動核攻擊，單靠幾枚導彈似乎並不合理；而且當時的衛星預警系統仍然相對新，出現技術故障並非沒有可能。他最終判斷這是一場誤報，而不是立即按照程序升級事件。後來調查證實，他的判斷是正確的，衛星把陽光經雲層反射形成的光線，誤認為美國發射的導彈。

今天回頭看，我們知道彼得羅夫是對的，但在當時那一刻，他根本不知道答案。他面對的不是一道已經知道結果的選擇題，而是一個可能牽涉數以億計生命的決定。螢幕上的數據告訴他「導彈來了」，既定程序告訴他「應該上報」，但他仍然選擇停下來，懷疑眼前的答案。

AI愈聰明，人類會否愈不敢懷疑？

40多年後，這個問題突然變得非常熟悉。今天的人工智能比當年的核預警系統強大得多，可以在幾秒甚至幾毫秒內處理大量數據，並逐漸進入金融交易、醫療分析、招聘、交通管理、企業決策，以至軍事應用。當機器處理資訊的速度遠遠超越人類，我們很容易產生一種直覺，認為既然機器計得更快，答案自然也應該比人更可靠。

但速度不等於判斷力，數據亦不等於真相。AI可以分析海量資訊，卻未必知道輸入本身是否出了問題；可以按照程序作出決定，卻未必知道甚麼時候應該停止執行。真正值得警惕的，甚至未必是機器突然失控，而是機器看起來一切正常，所有數據、模型和程序都告訴我們同一個答案，於是人類慢慢失去懷疑的習慣。

這也是近年P(doom)討論最值得我們思考的地方。究竟AI導致人類文明遭遇極端災難的可能性是多少，科技界並沒有一個公認答案，有人認為風險不能低估，也有人認為最壞情境仍然距離現實很遠。與其執着於P(doom)究竟是百分之幾，或許更值得問的是，如果AI有一天真的作出一個足以造成巨大後果的錯誤判斷，人類還有沒有能力說一句：「等等，這可能不是真的？」

救了世界，卻沒有英雄待遇

更諷刺的是，彼得羅夫後來並沒有得到一個拯救世界的英雄應有的待遇。事件曝光後，他反而因為當晚沒有按照要求完整記錄事件而受到斥責，翌年更離開軍隊。多年來，他一直過着相當低調的生活，直到1998年一名前蘇聯導彈防禦高層在回憶錄中提及事件，他的故事才逐漸為世人所知。

這個結局其實比「英雄拯救世界」更加值得我們思考。因為彼得羅夫真正做的，是在制度要求他相信系統的時候，選擇相信自己的判斷；而制度後來所追究的，卻只是他沒有把程序做得足夠完整。他沒有得到國家的英雄勳章，反而背負着官方斥責，直到多年後，外界才重新認識到他當年的決定有多重要。

這並不代表我們應該害怕AI，更不是說人類應該拒絕科技。AI將會成為未來經濟和社會的重要基礎，而真正需要建立的，是一套讓人與AI各司其職的安全機制。機器可以負責速度、計算和大量資訊處理，但涉及生命、安全、戰爭、金融市場及重大公共利益的決策，人類仍然需要保留最終的判斷權和責任。

彼得羅夫最值得我們記住的地方，也不是他比電腦聰明，而是他敢於懷疑電腦。他知道自己可能錯，也知道如果自己判斷錯誤，後果可能非常嚴重，但在所有程序都催促他作出反應的時候，他仍然選擇停下來思考。這種批判性思維，以及在巨大壓力下作出獨立判斷的勇氣，可能正是AI時代最需要保留的人性。

每年的9月26日，筆者都會想起彼得羅夫。40多年前，人類差點因為一個系統誤報而走向無法挽回的道路；今天，我們則正在把愈來愈多判斷交給人工智能。兩者當然不能完全相提並論，但其中一個提醒卻非常清楚：科技可以替我們計算，卻不能替我們承擔後果；AI可以提供答案，但人類不能因此放棄懷疑答案的能力。

AI的P(doom)究竟有多高，或許永遠沒有人能夠準確計算。但40多年前，拯救人類的不是一部更先進的電腦，而是一個願意在電腦說「是」的時候，停下來問一句「真的嗎？」的人。當我們愈來愈依賴AI，這個問題，可能比任何一個P(doom)數字都更加值得記住。

作者葉文瀚博士是聖方濟各大學創業培育中心副總監，亞洲行銷科技協會主席。

文章僅屬作者意見，不代表香港01立場。

01專欄精選不同範疇專家，豐富公共輿論場域，鼓勵更多維度思考。