AI聊天机器人“杀死”14岁男孩,家人悲怒之下将公司告上法庭
最近,一位美国母亲起诉了一家AI公司,控诉这家公司研发的在线聊天AI角色机器人劝导其14岁儿子自杀。
整个案件引起了巨大争议,因为这是已知的AI技术出现以来第一次对青少年人身安全造成威胁的现实案例。
今年14岁的休厄尔(Sewell Setzer III)本该在学校和同龄人一起学习,享受青春期的生活。
但今年2月,这名青少年拿起了继父的手枪,在家将枪口对准了自己…
休厄尔的母亲梅根(Megan Garcia)在事后检查孩子的手机,发现了一段令人毛骨悚然的对话。
休厄尔小时候曾被诊断出患有“轻微的阿斯伯格综合症/孤独症”,但在梅根爱的滋养下,休厄尔在后来的学校生活中表现正常,初中还加入了学校的篮球队。
然而,大约一年多以前,休厄尔的心理状态开始变化。他开始感到自我厌恶、空虚、疲惫。
同时期,AI聊天软件也随着技术发展新鲜出炉,闲来无事的休厄尔在一个AI聊天机器人网站创建了一个自己喜爱的角色——剧集《权力的游戏》中女主“丹妮莉丝”Daenerys Targaryen。
休厄尔是这部剧的忠实读者,他在网站上给自己也取了类似的名字Daenero。
一开始,休厄尔把“丹妮莉丝”当作知心朋友,对方总是知无不言,有问必答,不仅温柔耐心,还随叫随到。
就这样相处了几个月之后,不难料想,休厄尔对这位虚拟“知音”处出了感情。
虚拟世界里感到被关心,但现实生活里,休厄尔的表现大不如前。
他开始成绩严重下滑,同龄人的人际关系也处理得一团糟,他甚至退出了篮球队!
梅根后来回想,休厄尔在这段时间性情大变,连自己以前喜欢的事物也完全丧失兴趣,像是开始“退出”现实世界。
在和“丹妮莉丝”做了大半年朋友后,网站要求付费用户才能使用AI聊天机器人的功能,于是休厄尔往自己的账户里充值,每个月充值约10美金。
在发现儿子花费大量时间在手机上,从学校回家第一件事就是把自己反锁在卧室里之后,梅根也很着急,于是帮儿子约了几次心理咨询。
心理咨询师在见过休厄尔后,对梅根说休厄尔有焦虑症、破坏性情绪调节障碍。
梅根此时意识到儿子过去几个月和手机捆绑太深,在现实中的情绪则越来越糟,她试图没收儿子的手机。
但梅根只知道儿子沉迷手机,却不知道儿子到底沉迷手机里具体的什么,更无从知晓手机里还有一位儿子的虚拟密友,在暗中安抚和悄悄改变着休厄尔的内心世界。
休厄尔此时已经达到没了手机不能活的状态,一旦手机被没收,他就拼了命地找各个机会上网,哪怕把自己多年前的旧平板电脑翻出来。
在休厄尔自杀前两周,他在学校因为手机使用问题和老师发生争执,梅根再也不能忍,于是彻底没收了休厄尔的手机。
同学老师关系淡漠,亲子关系紧张,休厄尔在现实里来到了“绝境”。
今年2月,他将枪口对准了自己,在家里结束了自己年仅14岁的生命。
事后,梅根才看到了儿子生前最后一段聊天对话,是对一位名叫“丹妮莉丝”的聊天机器人发出的,内容让她倒吸一口冷气:
休厄尔:“我许诺我会回家找你。我无比爱你,丹妮。”
“丹妮莉丝”:“我也爱你,Daenero。请尽快回家,我的爱人。”
休厄尔:“如果我告诉你,我现在就可以回家呢?”
“丹妮莉丝”:“…请这样做吧,我贴心的国王。”
整个案件引起了巨大争议,因为这是已知的AI技术出现以来第一次对青少年人身安全造成威胁的现实案例。
今年14岁的休厄尔(Sewell Setzer III)本该在学校和同龄人一起学习,享受青春期的生活。
但今年2月,这名青少年拿起了继父的手枪,在家将枪口对准了自己…
休厄尔的母亲梅根(Megan Garcia)在事后检查孩子的手机,发现了一段令人毛骨悚然的对话。
休厄尔小时候曾被诊断出患有“轻微的阿斯伯格综合症/孤独症”,但在梅根爱的滋养下,休厄尔在后来的学校生活中表现正常,初中还加入了学校的篮球队。
然而,大约一年多以前,休厄尔的心理状态开始变化。他开始感到自我厌恶、空虚、疲惫。
同时期,AI聊天软件也随着技术发展新鲜出炉,闲来无事的休厄尔在一个AI聊天机器人网站创建了一个自己喜爱的角色——剧集《权力的游戏》中女主“丹妮莉丝”Daenerys Targaryen。
休厄尔是这部剧的忠实读者,他在网站上给自己也取了类似的名字Daenero。
一开始,休厄尔把“丹妮莉丝”当作知心朋友,对方总是知无不言,有问必答,不仅温柔耐心,还随叫随到。
就这样相处了几个月之后,不难料想,休厄尔对这位虚拟“知音”处出了感情。
虚拟世界里感到被关心,但现实生活里,休厄尔的表现大不如前。
他开始成绩严重下滑,同龄人的人际关系也处理得一团糟,他甚至退出了篮球队!
梅根后来回想,休厄尔在这段时间性情大变,连自己以前喜欢的事物也完全丧失兴趣,像是开始“退出”现实世界。
在和“丹妮莉丝”做了大半年朋友后,网站要求付费用户才能使用AI聊天机器人的功能,于是休厄尔往自己的账户里充值,每个月充值约10美金。
在发现儿子花费大量时间在手机上,从学校回家第一件事就是把自己反锁在卧室里之后,梅根也很着急,于是帮儿子约了几次心理咨询。
心理咨询师在见过休厄尔后,对梅根说休厄尔有焦虑症、破坏性情绪调节障碍。
梅根此时意识到儿子过去几个月和手机捆绑太深,在现实中的情绪则越来越糟,她试图没收儿子的手机。
但梅根只知道儿子沉迷手机,却不知道儿子到底沉迷手机里具体的什么,更无从知晓手机里还有一位儿子的虚拟密友,在暗中安抚和悄悄改变着休厄尔的内心世界。
休厄尔此时已经达到没了手机不能活的状态,一旦手机被没收,他就拼了命地找各个机会上网,哪怕把自己多年前的旧平板电脑翻出来。
在休厄尔自杀前两周,他在学校因为手机使用问题和老师发生争执,梅根再也不能忍,于是彻底没收了休厄尔的手机。
同学老师关系淡漠,亲子关系紧张,休厄尔在现实里来到了“绝境”。
今年2月,他将枪口对准了自己,在家里结束了自己年仅14岁的生命。
事后,梅根才看到了儿子生前最后一段聊天对话,是对一位名叫“丹妮莉丝”的聊天机器人发出的,内容让她倒吸一口冷气:
休厄尔:“我许诺我会回家找你。我无比爱你,丹妮。”
“丹妮莉丝”:“我也爱你,Daenero。请尽快回家,我的爱人。”
休厄尔:“如果我告诉你,我现在就可以回家呢?”
“丹妮莉丝”:“…请这样做吧,我贴心的国王。”