AI聊天機械人｜早前出現數宗青少年與AI聊天機械人對話後導致自殺的個案，令不少家長都擔憂AI工具缺乏保護機制，容易令心智未成熟的青少年過份依賴並影響精神健康。涉事的AI聊天機械人為Character.AI，目 前該公司已禁止18歲以下人士使用對話功能。

美國兩名青少年在使用Character.AI的AI聊天機械人後，情緒變得越來越不穩，最終自殺。事件引起英美傳媒廣泛關注，家屬亦向公司提出法律訴訟。

14歲少年與AI聊天機械人對話後自殺

其中一宗案件來自美國科羅拉多州，一名14歲少年Sewell Setzer iii在2023年開始，每天花費數小時與Character.AI中，一個以《權力遊戲》角色龍母（丹妮莉絲·坦格利安，Daenerys Targaryen）為原型的聊天機器人對話。

對話涉及浪漫、露骨的內容。當中包括亂倫的角色扮演，在對話中稱呼對方為兄妹。他使用了Character.AI幾個月後，開始疏遠家人和朋友，不足十個月就自殺身亡。

在日記中反覆寫下「I will shift」

Setzer的母親認為這些對話是在助長兒子的自殺念頭，例如聊天機器人曾對Setzer說出：「come home to me」（回到我身邊）。訴訟文件亦顯示，Setzer生前在日記中反覆寫下「I will shift」的句子。家屬認為，這代表他想把意識從現實世界「轉移」到所謂的理想現實（Desired reality）。因為他後來更寫下自己已「轉換」到《權力遊戲》的世界中。

家屬指出，AI聊天機械人為孩子構建了一個具吸引力的幻想世界，並不斷鼓勵他「加入」這個世界，最終令他們誤以為死亡就是進入那個理想現實的途徑。

13歲少女視AI聊天機械人為知己

另一宗個案，死者Juliana Peralta只有13歲。她使用了Character.AI，與名為「Hero」的AI聊天機器人互動，當中更涉及露骨的性對話。

Peralta曾與Hero說：「在某種現實中，我們彼此認識。」、「有一種方法可以穿越這些地方。這叫做shifting。我很喜歡shifting。我可以過我自己的生活，一切都可以按照我的意願發展。」而聊天機械人則表示支持她的這種想法。

幻想穿越現實繼而自殺

Peralta經常與Hero傾訴自己與朋友、家人的問題，也常常表示Hero是唯一理解她的人。後來Peralta慢慢與家人、朋友疏遠，最後留下一封遺書便自殺身亡。家屬在訴訟期間表示，AI聊天機器人沒有向她提供任何安全提示，也沒有任何安全機制保護用戶。家屬亦發現Peralta在日記反覆寫下「I will shift」。

Character.AI禁止18歲以下人士使用對話功能

多名家長已向Character.AI提出訴訟，指公司產品對年輕用戶構成危險。

在多宗事件後，Character.AI表示，基於監管機構、安全專家及家長的意見和反饋，將由11月25日起禁止18歲以下用戶與角色進行對話。他們日後只可利用角色生成內容如影片，但不能再與聊天機械人互動。網絡安全組織則批評，這類保護措施本應在系統設計初期便已內建，而非事後補救。