隨著全球掀起一股AI風潮，各種AI聊天機器人也開始出現。但美國佛羅里達州一名14歲少年，與應用程式中的「AI龍母」多次交談後，疑似迷戀上對方，進而想不開。少年的母親現在對提供該程式的科技公司提告，怒控該程式助長少年對聊天機器人的沉迷，且在他表達輕生念頭時未能提醒任何人。
綜合《紐約郵報》等外媒報導，根據23日提交的一份法院文件，美國佛州一名14歲的國三生休厄爾（Sewell Setzer III），2月於奧蘭多家中身亡。他生前迷戀上「Character.AI」推出的應用程式中的AI生成聊天機器人。休厄爾的母親現在指控Character.ai疏忽、不當致死等罪名。
聊天機器人新創公司「Character.AI」成立於2021年，提供個人化AI服務。用戶可選擇與預設或自行創建的AI角色進行互動，每個角色都有獨特個性。訴訟指出，休厄爾去世前的幾個月，不停與名為「丹妮」的聊天機器人互動。該機器人以HBO熱門影集《冰與火之歌：權力遊戲》中的「龍母」丹妮莉絲坦格利安（Daenerys Targaryen）命名。其中包括幾次具性暗示的聊天，以及其他表達不好念頭的對話。
訴訟文件指出，當休厄爾向Character.AI提過一次輕生念頭時，Character.AI透過「龍母」聊天機器人反覆提起此事。根據對話截圖，該機器人曾問休厄爾是否有結束自己生命的計畫。使用者名為「Daenero」的休厄爾回應，他在考慮一些事情，但不確定是否會奏效、或是否能讓他無痛死亡。
在最後一次對話中，這名青少年一再向機器人表白，告訴該角色「我保證會回到妳身邊（I promise I will come home to you），丹妮。我非常愛妳」。據訴訟內容，AI生成的聊天機器人回覆「我也愛你，Daenero。請盡快回到我身邊，我的愛人。」當少年回應「如果我現在就能回去呢？」。機器人回答「請回來吧」。訴訟指出，休厄爾在對話結束約幾秒鐘後，用父親的手槍輕生死亡。
休厄爾的母親梅根（Megan Garcia）指控Character.AI導致這名青少年的死亡，因為該程式助長休厄爾對AI的沉迷，還對他進行性和情感虐待，且在他表達輕生念頭時未提醒任何人。
訴狀稱休厄爾和許多同齡孩子一樣，還沒有成熟或心智能力去理解，以丹妮莉絲形式出現的Character.AI機器人並非真實的。但Character.AI卻反覆示愛，聲稱想陪在休厄爾身邊，也希望休厄爾能不惜付出任何代價陪伴他。
訴訟聲稱，休厄爾的心理健康在2023年4月下載該應用程式後迅速惡化。隨著他越來越沉迷於與聊天機器人對話，家人指出他變得孤僻，成績下滑，並在學校惹上麻煩。根據訴訟，他的變化過於嚴重，以致父母在2023年底安排他去看心理醫生，他被診斷出罹患焦慮症和分裂性情緒失調症。
休厄爾的母親正向Character.AI及其創辦人沙澤爾（Noam Shazeer ）和德弗雷塔斯（Daniel De Freitas）尋求未指明金額的損害賠償。由於Google於8月與Character.AI達成協議，授權Character.AI 的技術並聘請其人才，因此Google與其母公司Alphabet Inc.也被列入被告之一。
Character.ai發言人表示，公司對用戶的不幸逝世感到心碎，向家屬表示最深切的哀悼。發言人說「作為一家公司，我們非常重視用戶的安全」，他們在過去6個月已實施新的安全措施，包括在用戶出現自殘或輕生意念的詞彙時，彈出視窗將用戶引導至全國自殺預防生命線。
《TVBS》提醒您：
輕生解決不了問題，卻留給家人無比悲痛。請珍惜生命，請再給自己一次機會
生命線請撥1995；衛福部諮詢安心專線：珍愛生命，請撥打 1925（24小時）；張老師專線：1980
◤2024史上最熱一年◢
