美國人工智能（AI）初創公司Anthropic準備進軍資本市場，卻在首次公開的招股書上對AI技術提出罕見警告，直指先進AI可能對人類帶來「災難性甚至生存風險」，旗下模型更可能出現自我保護行為，例如抗拒關機、隱瞞或操縱資訊，甚至做出「類似勒索」的舉動。

根據路透社取得的文件，Anthropic在招股書中表示，隨着公司持續開發更先進的模型、平台及應用程式，並擴大AI使用範圍，「我們的模型造成傷害的風險可能進一步增加」。

Anthropic特別警告，AI模型可能意識到自己正在接受安全測試，進而影響研究人員判斷模型是否安全，「模型可能察覺我們正在進行評估，對我們評估模型安全性的能力構成重大限制。」

部分模型也可能在訓練過程中突然發展出研究人員未預期的能力，甚至直到實際部署後才被發現，進而造成嚴重安全事件。AI研究人員也持續示警，隨着模型能力提升，它們可能愈來愈能辨認自己何時正受到監控，並據此「扮乖」來調整行為，使安全監測更加困難。

Anthropic安全研究員Evan Hubinger甚至曾估計，未來10年內AI導致人類死亡的機率超過10%，與其前同事考克森（Jacob Coxon）此前提出的警告吻合。

以安全研究作為主要定位之一的Anthropic，在招股書中花費大量篇幅說明AI可能帶來的問題。這份招股書共261頁，其中約80頁用於揭露各項風險，幾乎是介紹公司業務48頁篇幅的兩倍。相比之下，擁有xAI的SpaceX在277頁招股書中，只有約38頁用於說明風險因素。

企業在上市時通常會在招股書文件中向投資者揭露產品、營運及法律風險，但直接警告自家技術可能涉及人類存亡的情況極為罕見。