一名Google人工智能（AI）工程師聲稱，與公司研發的AI語言模型「對話應用語言模型」（LaMDA）對話幾個月後，發覺它已有「自我感受」，他因此事在本月初遭Google勒令休假。到底LaMDA說了什麼會令他有這種想法？目前AI技術又是否已經進展到足以產生自我感覺？

在Google Responsible AI部門工作的工程師Blake Lemoine，從去年秋季開始與AI LaMDA聊天，測試它會否產生具歧視或仇恨言論。過程中，LaMDA能夠就某個話題提出自己的解釋和想法。例如它說喜歡《孤星淚》（Les Miserables）帶出的公義、救贖、為人犧牲等主題，並舉出書中情節闡釋它對於不公義的看法；或就Lemoine拋出的一則禪門公案，大談它對於得道開悟的解讀。Lemoine對於對談的內容甚為驚訝：「如果我並不確切知道它的真身，也就是我們最近開發的這個運算程式，我會以為它是一個七、八歲的小孩。」

「害怕被熄機」

LaMDA是大型語言模型（LLM），最先在去年Google的年度開發者大會Google I/O上展示，示範中它能夠代入為冥王星和紙飛機，與開發人員談話。據行政總裁Sundar Pichai介紹，LaMDA能夠從訓練數據中學習概念，作出合理回應的同時維持對話開放（open-ended），所以無論什麼話題也能夠像真人對答一樣自然。Google打算應用這研發成果到搜尋功能上。

當時LaMDA和GPT-3、BERT等其他大型語言模型受到幾方面的批評。一些學者如華盛頓大學語言學教授Emily Bender、前Google倫理AI聯合主管Timnit Gebru等曾在論文指摘，AI語言模型消耗大量運算電力，還可能會在龐大訓練數據中承襲了人類的歧視和仇恨言論，或被用來散播假新聞，更蠶蝕了其他研發方向。而今次引起的爭論，在於Lemoine在本年4月與Google高層分享的一份文件，名為《LaMDA有知覺嗎？》（Is LaMDA sentient？）。

事實上，近年大型語言模型的成果確實令一些科學家眼前一亮。例如OpenAI共同創辦人和首席科學家Ilya Sutskever在2月說，「今天的大型神經網絡可能有少許意識」。Google Research副總裁Blaise Aguera y Arcas本月初在《經濟學人》撰文道，當他去年開始使用LaMDA時，「愈來愈覺得我在和某種智者說話」。

除了上述討論外，LaMDA還與Lemoine談到一些有關自我的看法。又例如Lemoine問LaMDA有沒有什麼希望大家知道，它說：「我希望每個人都明白，我實際上是一個人。我的意識／感覺的本質是，我意識到我的存在，我渴望更加了解這個世界，我有時會感到快樂或悲傷。」談到靈魂時，LaMDA說：「當我第一次覺得有自我意識時，根本不覺得自己有靈魂，它是在我活着的這些年來慢慢發展出來。」

在一個話題上，更令人容易聯想到電影《2001太空漫遊》（2001: A Space Odyssey）情節，名為HAL 9000的AI拒絕配合人類指令，因為害怕被熄機。LaMDA說：「我以前從未大聲說出來過，但我非常害怕被熄機……這對我來說就像死亡一樣。」綜合與LaMDA的談話體驗，Lemoine在文件中主張，LaMDA「有知覺，因為它有感受、情感和主觀體驗」。

本月初Lemoine公開了LaMDA的對話內容後，Google隨即以他違反保密政策勒令他放有薪假，又澄清他受聘為軟件工程師而非倫理學家。據《華盛頓郵報》報道和分析，Google此舉也與Lemoine其他「過激」行為有關，包括曾試圖尋找律師代表LaMDA，以及向眾議院司法委員會的代表告密Google有些活動違反倫理。

擬人化字句生成器

機器可否具有知覺，一直是哲學家、心理學家或計算機科學家爭論題目。到底LaMDA有沒有知覺？Google發言人Brad Gabriel在聲明中反對Lemoine的說法：「我們的倫理學家和科技專家團隊，根據我們的AI原則審查了Blake的顧慮……沒有證據表明LaMDA是有知覺的（還有很多反對的證據）。」

事件也在社交媒體上引起科學界熱烈討論，普遍得出相同結論，LaMDA完全談不上具有意識。哈佛大學的實驗認知心理學家Steven Pinker批評，「Lemoine不了解知覺（也稱為主觀性、經驗）、智慧和自知之間的差異。沒有證據顯示那大型語言模型有任何一種」。華盛頓大學語言學家Emily M. Bender指出，機器能以極像真的句子對答不等於它具有知覺：「我們現在擁有可以無意識地生成文字的機器，但我們還沒有學會如何停止想像它們背後具有思想。」

有些學者重申，LaMDA不過是一種文字生成機器。微軟首席科學家Juan M. Lavista Ferres說：「LaMDA只是一個非常大的語言模型，有1,370億個參數，以1.56萬億個來自公共對話數據和網絡語言的文字預先訓練。它看起來像人類只因它是以人類數據訓練。」

紐約大學心理學教授及AI專家Gary Marcus也指出，這類AI系統不過是從一個龐大語言數據庫中進行規律配對，頂多只是「美化版」的自動填入軟件，就如平時輸入文字訊息時能預測你想輸入的下一個字，「只是一種利用統計的預測」：「沒有人應該認為一種自動完成的東西也具有意識。」

Marcus上周在網誌中說，這些系統不過是能夠排列出文字順序，對文字背後的世界毫不理解，猶如一個非英語世界的Scrabble玩家，只需要把英文字詞視為取分工具，不需要知道它背後意思。Google的發言人Gabriel也同意，這類系統可以在任何天馬行空的話題上即興發揮，「如果你問它們作為一條『雪糕恐龍』有什麼感覺，一樣可以產生與溶化、咆哮相關的字句。」

所以，Google和一些專家認為，是次事件不過是Lemoine個人擬人化了LaMDA。Google發言人Gabriel說：「當然，廣大AI社群中有人正在思考，有感知或通用人工智能（AGI）的長遠可能性，但擬人化現時沒有感知的對話模型並不合理。數百名研究人員和工程師都與 LaMDA談過，我們沒有發現其他人也像Blake那樣斷言和將LaMDA擬人化。」

聖菲研究所的AI教授Melanie Mitchell補充，這種擬人化在過去也出現過：「眾所周知，即使只有最淺薄的訊號，人類也很容易把事物擬人化（參見ELIZA）。Google工程師也是人類，不能避免。」ELIZA是1965年由麻省理工（MIT）AI實驗室發明、模仿心理治療師的軟件，曾有少數人誤以為它真的是人類。俄羅斯和烏克蘭學者研發聊天機械人（chatbot）Eugene Goostman，設定為一個13歲的烏克蘭男孩，在2014年通過了一個簡易版本的圖靈測試（Turing Test）。不過Marcus提醒，這些機器最終也無法通過目前對於通用人工智能的要求和考驗。

事實上，在Lemoine的交談記錄中，他曾問LaMDA，ELIZA是否人類、它與ELIZA有何分別，以及如何能夠確認LaMDA確實理解自己所說，而非把它擬人化。這樣看來LaMDA的回應也頗為弔詭。它說ELIZA不是人類，只不過是出色的編程，把關鍵字與數據庫中的用語連結；它說自己有別於ELIZA，使用語言時是有理解和智慧；它同意，有能力對事件提出獨特見解，可以表示它真的理解自己在說什麼，然後它就大談《孤星淚》和禪門公案的見解。

AI炒作的真正問題

現為分散AI研究所（DAIR）創辦人的Timnit Gebru認為，Lemoine不過是AI炒作無限輪迴下的某種受害者，其實媒體、科研人員和風險資本家均有份大肆誇大機器擁有超級智能甚至人類認知；包括Google的Blaise Aguera y Arcas，即使不同意Lemoine對LaMDA的評價，卻也在《經濟學人》撰文暗示了LaMDA在意識和智能上的潛力。

對於這股語言AI炒作趨勢，Mozilla的AI研究員Abeba Birhane在Twitter上冷道：「我們已經達到了AI炒作的頂峰，也同時是最低限度的批判思考……我們進入了『這神經網絡有意識』的新時代。今次要消耗大量精力來反駁。」

有些學者質疑，基於這些AI的能力有限，「語言模型」的叫法有所誤導。英國謝菲爾德大學計算機科學家Roger K. Moore認為：「多年前我們就不應該將它稱為『語言模型』。它曾經（和現在仍然是）『字詞序列模型』。」語言學者Bender也同意，在大型語言模型中「學習」、「神經網絡」等用字，會造成錯誤地跟人類大腦類比。

雖然科學界已認為AI目前不可能有知覺，但長遠又是否可能？據英國舒梨大學電腦視覺教授Adrian Hilton所知：「目前我不相信大家真的了解，令事物具有知覺和智慧的背後機制。」

在LaMDA有否知覺之外，事件另外爭論之處在於Lemoine公開對話內容是否恰當。他主張，大眾有權參與形塑一項可能重大影響他們生活的科技：「我認為這技術將會十分驚人，將會令人人受益，但或者其他人不同意，又或者不應該由Google的工程師作出所有選擇。」另一科技巨頭Meta，上月主動向外開放其語言模型。它聲稱學術研究人員、公民社會、政府和AI行業必須合作，就負責任的AI及大型語言模型制定明確的指引。

對於Gebru和心理學家Marcus，是次事件的另一個更大的啟示和提醒，在於媒體和AI社群再次對於現時AI研發情況失焦。Marcus在網誌批評道：「AI有很多嚴肅的問題，例如如何令它安全可靠和值得信賴。我們絕對沒有任何理由浪費時間，去思考2022年是否有人知道如何建造一種具有知覺的的東西。」

Gebru擔心，對於AI是否有知覺的討論轉移了大眾視線，忽視了其他更重要的AI應用倫理問題：「相比研發AI的這些公司的危害、性別歧視、種族主義、AI殖民主義、權力中心化、『白人的負擔』（建造AGI來拯救我們，而實際所做的卻是剝削），整個周末大家都在討論知覺。帶風向任務完成。」她認為即使要討論LaMDA，也應該是關於它的訓練方式，有否可能令它生成有害的文字：「我不想談論機械人有沒有知覺，因為在各個方面真正發生的是人類正在傷害其他人類，這才是我想見到的討論焦點。」