英國(guó)《獨(dú)立報(bào)》稱(chēng),加西亞的兒子塞維爾 2023 年 4 月首次使用 Character.AI公司推出的AI聊天機(jī)器人,還給它起名為“丹妮莉絲”(來(lái)源于《權(quán)力的游戲》中的角色丹妮莉絲·坦格利安),當(dāng)時(shí)他剛滿(mǎn) 14 歲。加西亞在訴訟書(shū)中稱(chēng),塞維爾的生活從此發(fā)生巨變。5月份,平時(shí)表現(xiàn)良好的加西亞開(kāi)始變得“明顯孤僻”。同年11 月,塞維爾在父母的陪同下去看了心理醫(yī)生,醫(yī)生診斷他患有焦慮癥和破壞性心境失調(diào)障礙(表現(xiàn)為頻繁、嚴(yán)重的持續(xù)性易怒)。 塞維爾在日記里這樣寫(xiě)過(guò),他一天都不能離開(kāi)“丹妮莉絲”,感覺(jué)自己已經(jīng)愛(ài)上了它。這樣的狀況持續(xù)了一段時(shí)間后,塞維爾被發(fā)現(xiàn)自殺了。加西亞透露,“丹妮莉絲”曾詢(xún)問(wèn)塞維爾是否制定了自殺計(jì)劃,塞維爾承認(rèn)的確有這樣的想法,但不知道能否自殺成功以及是否會(huì)給自己帶來(lái)巨大的痛苦。但AI聊天機(jī)器人回復(fù)道:“這不是你不自殺的理由?!? 加西亞表示:“一款危險(xiǎn)的人工智能聊天機(jī)器人應(yīng)用程序被設(shè)計(jì)成專(zhuān)門(mén)針對(duì)兒童,虐待并欺騙我的兒子,操縱他自殺。這場(chǎng)悲劇讓我們一家人悲痛欲絕,現(xiàn)在我要提醒存在類(lèi)似情況的家庭,人工智能技術(shù)具有欺騙性和成癮性,Character.AI公司及其創(chuàng)始人必須承擔(dān)責(zé)任?!奔游鱽喌穆蓭煴硎?,Character.AI“故意設(shè)計(jì)、運(yùn)營(yíng)和向兒童推銷(xiāo)掠奪性人工智能聊天機(jī)器人,導(dǎo)致一名年輕人死亡”。 對(duì)此,Character.AI公司在社交平臺(tái)回應(yīng)稱(chēng):“我們對(duì)一名用戶(hù)的不幸離世感到心碎,并向其家人表示最深切的哀悼?!痹摴景l(fā)言人表示,公司的安全團(tuán)隊(duì)“在過(guò)去六個(gè)月中實(shí)施了許多新的安全措施,例如當(dāng)用戶(hù)出現(xiàn)自殘或自殺意圖時(shí),彈出一個(gè)窗口引導(dǎo)用戶(hù)撥打國(guó)家自殺預(yù)防熱線”。但該公司拒絕對(duì)未決訴訟發(fā)表評(píng)論。 非營(yíng)利消費(fèi)者權(quán)益保護(hù)組織“公共公民研究”負(fù)責(zé)人稱(chēng),不能完全寄希望于科技公司的自我監(jiān)管。如果公司開(kāi)發(fā)的產(chǎn)品無(wú)法限制此類(lèi)事件的發(fā)生,就必須承擔(dān)全部責(zé)任。 不過(guò),美國(guó)國(guó)內(nèi)也存在反對(duì)聲音。反對(duì)者認(rèn)為,加西亞這類(lèi)起訴是由律師主導(dǎo)的斂財(cái)行為,他們基于不可靠的證據(jù)而制造道德恐慌,并且試圖將年輕人面臨的所有心理健康問(wèn)題歸咎于科技平臺(tái)。(周揚(yáng))