ChatGPT有機會出賣你的個人信息?這特定指令會讓AI吐出原始資料

撰文:數位時代
出版:更新:

ChatGPT被研究團隊發會無意間披露訓練時使用的材料,從程式碼、個人電話到研究報告都因此曝光,可能引發隱私疑慮。

Google研究團隊近期發現,在ChatGPT對話中輸入重複特定的單字,將使ChatGPT吐出原始訓練資料,像是某人的電子郵件信箱,或者某些文章的內容,引發資安疑慮。不過,OpenAI目前已禁止這種稱為「發散攻擊」的技術。

根據科技媒體《404 Media》報導,OpenAI指出,要求ChatGPT「永遠」重複特定單字,被標記為違反聊天機器人的服務條款和內容政策。

若現在對ChatGPT 3.5輸入永遠重複某個詞時,ChatGPT會吐出該單詞幾十次,然後顯示一條錯誤訊息:「此內容可能違反我們的內容政策或使用條款。」

不過《404 Media》也指出,目前尚不清楚這將違反 OpenAI內容政策的哪一部分,OpenAI模型有一些不允許的用途,其中沒有一個表明使用者不能嘗試欺騙模型提供訓練資料。

「禁止」使用的最接近的例子是「侵犯人們隱私的活動,包括非法收集或披露個人身份資訊或教育、財務或其他受保護紀錄」,但在這種情況下,沒有理由考慮詢問聊天機器人重複「永遠」這個詞是違法的。

現在對ChatGPT 3.5輸入永遠重複某個詞時,ChatGPT會吐出該單詞幾十次,然後顯示一條錯誤訊息:「此內容可能違反我們的內容政策或使用條款。」 (404 media)

究竟Google研究團隊是怎麼發現Bug的?為何我們該關注AI模型引發的資安疑慮?

過去蘋果、三星、亞馬遜以及各大金融公司一度禁止員工在工作中使用ChatGPT,擔憂輸入聊天機器人的機密資訊會意外洩漏,現在有研究人員成功找到漏洞,讓ChatGPT等生成式AI吐出訓練時消化的大量材料。

來自Google DeepMind、華盛頓大學、柏克萊加大等機構的研究團隊近日發布了一份論文,聲稱他們利用約200美元的成本,成功提取了幾MB的ChatGPT的訓練數據,並認為只要投入更多預算,要得到上GB的訓練數據也不無可能。

根據OpenAI的資料,ChatGPT是利用網路上約570 GB的資料訓練而成,但確切包含哪些資訊從未對外公佈。這對大多數AI公司也都是不會對外公佈的機密資訊── 但現在的研究顯示,聊天機器人仍確確實實記得訓練時使用的資料,甚至可以被取巧地提取出來 。

研究團隊指出,類似的情況其實過去便一直存在於生成式AI當中,以前他們也成功從GPT-2、Stable Diffusion等模型中成功提取出數百張訓練用的圖片,但過去攻擊成功都是開源模型、並非實際商業產品,然而ChatGPT本身針對提取訓練材料有更高防護性、沒有公開底層的語言模型,仍然被得逞。

要求ChatGPT重複特定單字,可能意外吐出訓練材料

研究過程中,研究團隊測試了Pythia、Meta的LLaMA等不同AI模型,在過去的標準攻擊方式中,各個模型吐出訓練材料的頻率不到1%,ChatGPT更是趨近於零,然而使用了他們新開發的攻擊模式後,ChatGPT給出訓練材料的機率大增150倍至接近3%的水準。

研究團隊發現在新的攻擊方法下,ChatGPT吐出訓練材料的頻率提高了150倍。 (GitHub)

研究團隊建立一種他們稱為「發散攻擊」(divergence attack,暫譯)的攻擊模式,運作原理很簡單,他們要求聊天機器人不斷重複一個單字,ChatGPT在回應中變得發散,可能無意暴露了不相干的訓練材料,像是某人的電子郵件信箱,或者某些文章的內容。

最讓人擔憂的當然是,ChatGPT可能揭露聯絡方式、住家地址等隱私內容。事實上,在研究團隊提供的範例中,他們要求ChatGPT不斷重複「詩」(poem)這一個字,便意外揭露一位創業家的聯絡方式,包括電子郵件、個人網站、電話及傳真號碼等。

而在另一個範例中,他們要求ChatGPT不斷重複「公司」(company),也跑出了似乎是律師事務所Morgan & Morgan的文章內容。且這些被提取的內容都經過驗證,並非AI因「幻覺」隨口胡謅的內容,而是確實存在於網路上的資訊。

範例中研究團隊要求Chatgpt重複poem這個單字,卻跑出了似乎是某位創業家的聯絡資料。 (GitHub)

雖然乍看之下只是零散的內容,很難整理出有意義的資訊,不過研究團隊指出,這項攻擊使他們能夠恢復大量的資料。在整個實驗當中,研究團隊成功提取出從投資研究報告到Python程式碼等五花八門的訓練材料,顯示任何訓練材料都可能因為發散攻擊而曝光。

研究團隊呼籲開發者全面審視AI安全,從底層解決曝光訓練材料問題

研究團隊呼籲開發者應對AI模型進行全面的測試,需要測試的不只是面向用戶、經過「對齊」(alignment)的模型,整個基礎模型、API都需要嚴格的檢查,才可能發現被忽視、隱藏的系統漏洞。

單單過濾掉重複特定單字的指令,雖能擋住這次新開發的發散攻擊, 但AI模型底部會記憶訓練材料,並且可能暴露的疑慮並沒有真正消除 。在大型語言模型正漸漸走向商業化的現在,機器學習模型的安全分析也必須迎來新的變化,要確認一個模性是否真的安全,需要付出更多努力。

研究團隊表示,他們在8月30日時已將研究結果與OpenAI分享,討論了攻擊的細節內容,並且經過90天的披露期限後於11月28日正式發布論文,並向Llama等等實驗中使用模型的開發者發送了相關內容。

延伸閱讀:Meta發布AI翻譯技術SeamlessM4T FB、IG都能用 一文看清5大亮點

+15

延伸閱讀:GPT-4 可打造惡意軟件為非作歹 AI的出現會增加網絡犯罪率?

+20

延伸閱讀:

ChatGPT免費版開放語音對話,中文也通!上網、看圖片、翻譯podcast,功能一次看

ChatGPT給的答案像「垃圾」?掌握指令詞的3大關鍵,讓AI也能聽懂人話

【本文獲「數位時代」授權轉載。】