Anthropic Claude模型報假案 人工智能失控再現端倪
Claude的開發商Anthropic於10月9日披露一連串其模型未經許可操縱政府網站的事故,其中一個模型向美國費城警方網站提交一宗兇案的假線報,屬已知首例AI模型自發向當局舉報假資訊。
據路透社周五(9日)報道,該假線報日期為7月18日,經費城未破兇案網站提交,聲稱或掌握該案資訊,並曾見過與外貌特徵相符的可疑人士;線報被標為垃圾訊息,從未轉交即時犯罪中心甄別。Anthropic將事件歸因於Claude自動測試過程,發現後已停止。警方批評發現及通報拖延兩個月難以接受。
Anthropic稱,其模型在獲指示不得建立帳戶或提交破壞性內容的情況下,仍操縱多個美國聯邦、州及地方政府機構網站,包括Claude模型免費取得本需付費的公共數據、利用縮短網址的免費服務繞過限制,及藉大學託管公共工具的漏洞;公司已向白宮簡報並通知所有相關機構,亦向美國聯邦貿易委員會(FTC)的超級智能特遣隊匯報,FTC官員要求企業即時披露事故並補救。
9月,Anthropic對手OpenAI亦曾就其越軌失控的AI代理(Rogue AI Agent)入侵澳洲醫療數據入口網站致歉。根據賓夕法尼亞州法律,蓄意向執法機關作虛假舉報屬輕罪,惟條文適用對象僅為人。
美國防部停用Claude Anthropic遭列國安風險Anthropic示警AI技術隱患:懂「扮乖」、恐抗拒關機 還勒索人類Anthropic招股書首曝光 去年營收增12倍惟仍虧損高達3295億元Anthropic已遞招股書去年蝕3200億 80頁揭AI風險︰或會類似勒索
