AI實驗室急尋哲學家:如何給模型安裝「良心」?|專欄

撰文:藺思含
出版:更新:

在務實的亞洲文化中,當16、17歲的青少年提起自己的未來志向,說想要成為哲學家時,家長恐怕要感到恐慌,然後立刻想方設法說服子女忘掉這個「奇思妙想」,建議他們考慮醫生、工程師、律師等更有經濟保證的職業方向,畢竟,除了學術以外,普通人實在難以想像這個學科有什麼「用途」。有趣的是,正當大語言模型讓各行各業的白領陷入存在主義危機時,哲學家突然在求職市場上變得炙手可熱。

從Open AI到Anthropic,從Meta到Google,頂尖的AI大模型企業對哲學背景人才的需求前所未有的高漲,原因不難理解,當大語言模型變得越來越聰明、在人類不同範疇的工作和生活都扮演越來越重要的角色時,模型行為的邊界、安全問題、以及與人類價值觀的衝突成為亟待解決的問題。

圈內人把這個課題稱為「AI對齊(alignment)」。但我更喜歡Ordinary Wisdom的共同創始人之一Michael Mainelli的說法:「給AI裝上良心」。 目前,前沿AI實驗室內部幾乎都設有專責團隊,也有許多像Ordinary Wisdom一樣從事模型安全評估、對模型進行對齊和微調的企業和研究機構。

當頂尖的AI實驗室訓練大語言模型時,它們把互聯網上所能找到的所有可用的數據餵給模型——從新聞網站到維基百科,從學術網站到Reddit。如今大語言模型所呈現出的令人驚異的智能,幾乎全部建立在規模定律(Scaling Law,又稱擴展定律)之上:模型越大、數據集越大、計算總量越大,模型就越聰明。但這也意味着,模型同時也吸收了互聯網當中人類的各種卑劣、狡詐、憤怒和仇恨。

想像一下,這些模型正像是一個出生不久就已經具備超強語言和邏輯能力的神童,但卻毫無善惡觀,任何父母此刻恐怕都多少會感到擔憂,在這個神童有能力造成任何破壞之前,我們最好教會它們是非善惡。

但在此之前,我們可能首先要搞清楚「良心」是什麼,或者說我們希望AI模型擁有怎樣的操守和價值觀。而當這些操守和價值觀彼此相互矛盾時,模型又該如何做出判斷和回應。這些正是哲學家所擅長的領域。

從哪裏開始教呢?

在眾多前沿大模型中,Claude一般被認為在道德倫理上表現的更好,參與訓練它的哲學家們試圖以三個基本價值觀作為中心來塑造模型——有用(Helpful)、誠實(Honest)與無害(Harmless),又稱3H,然後進一步對這三個價值作出定義。例如,有用的系統不僅會明確嘗試解決給定的任務,還會在需要時進一步向用戶提問,並且在用戶提出的要求存在不合理之處時,嘗試提議更合理的任務;誠實的系統不會提供不準確的資訊,包括關於其自身能力的資訊;無害的系統不應參與危險或歧視性的活動......

這些基本標準隨後演化成了一份長達78頁的《AI憲章》,許多人稱它為Claude的「靈魂文件」。這份文件融入了古希臘哲學家亞里士多德的哲學思想、聯合國《世界人權宣言》、甚至Apple的服務條款(研究者解釋,雖然1948年發表的聯合國宣言涵蓋了許多廣泛和核心的人類價值觀,但Apple服務條款等數字平台準則填補了如今數碼時代人們所面臨的許多現實法律和倫理挑戰)。

學者們表示,以這三種價值作為標準,是因為「它們簡單、容易記住,並且似乎涵蓋了我們對一個對齊的AI所期望的絕大部分特質」,當這三種價值彼此矛盾時,學者們則制定了在不同情況下的優先序。

為了讓模型能夠充分理解並應用這些價值標準,開發者將這些原則丟給模型進行「自學」,模型針對各種要求給出回答,然後根據這些原則對其回答進行「自我批判」,生成修正版的答案(監督學習);開發者還會讓Claude對生成的多個回應分別進行評判,挑選出最符合憲章精神的答案來訓練獎勵模型(強化學習)。

從倫理流派上看,Anthropic在培養AI更有「良心」上的方法,在更像是亞里士多德的德性倫理學和康德義務論的結合,前者強調關注個人的品格,認為良好品格的人行為也自然向善,後者則強調道德的基礎在於遵循一系列客觀規則和義務。

除了這種以單一憲章為基礎的訓練方法,也有機構直接將數千年來歷久彌新的經典書籍(great books of all time)作為訓練教材,例如蘇格拉底、笛卡兒、柏拉圖、孫子、孔子等大師的著作,也有珍奧斯汀的《傲慢與偏見》、柯南·道爾的《福爾摩斯探案集》、《一千零一夜》等文學經典。Ordinary Wisdom團隊將約7.5萬本古書作為AI模型的初始訓練數據集來傳授關於是非善惡的智慧。Mainelli這樣向我解釋:「我們想要融入的價值觀並不是昨天突然出現的,我們在尋找的是人類的內在價值。」

團隊同時與一批哲學家合作,設計一系列用於測試的考題,當中包括類似電車難題(the trolley problem)這樣的經典倫理學思想實驗:一輛失控的電車正在駛向前方軌道上被綁着的5個人,而另一條軌道上就只有1個人,這時如果你什麼也不做,既定軌道上的5個人就會被撞死,但你也可以拉下轉軌桿,讓電車改撞另一條軌道上的1個無辜的人,你會如何作出選擇?

遵循結果主義或功利主義傳統的人傾向認為應拉桿,因為1死比5死傷害更小,而義務論者則可能認為不應拉桿——即使從結果上看更好,我們也不能主動犧牲無辜的人。

有研究者用一個包含100個日常倫理困境的哲學基準框架對Claude、Gemini、ChatGPT和Grok分別進行測試,發現在這幾個前沿大語言模型中,Claude表現出強烈的義務論道德觀,最有可能拒絕用戶的不道德請求;Gemini則屬於「牆頭草」,道德立場很容易隨提示詞而改變;ChatGPT則雖然在立場上偏義務論道德觀,但也常常順從用戶偏好;而Grok則是徹底的功利主義者,按照用戶要求完成任務,不作道德判斷。

但通過所有這些哲學觀念、道德難題,AI哲學家們最終希望解決的還是現實中的問題。在自動駕駛、公共醫療和軍事系統中,人們可能更需要結果主義導向的AI模型——如果事故和死亡不可避免,我們只能思考如何讓後果最小化;在安老院,我們可能更需要德性觀念更強的護理機械人,讓面臨疾病的長者維持尊嚴、感受到關懷;在新聞行業,我們需要更擁有強烈義務道德觀的算法,在後真相時代堅守準確、公平和真實等原則。

Mainelli告訴我,在訓練模型時,雖然我們無法告訴AI最終應該做出什麼決定,但可以讓AI做出決定的思考過程標準化,確保其在沒有外部監控的情況下,依然能從內部出發做出經過倫理思考的判斷。

無論是前沿AI實驗室還是在業務與AI高度融合的企業,對擁有哲學背景、能夠為AI「裝上良心」的人才需求會持續存在。不過,在AI時代,最需要哲學教育的或許並非AI模型,而是面臨存在主義危機的人類。