一名 13 岁女孩在她的学校笔记本电脑上向 AI 询问有关自杀的情况。它已经好几周没有被标记了

据一名 13 岁女孩的父母本月提起的诉讼称，一名 13 岁女孩花了三个月的时间使用学校发放的笔记本电脑讨论抑郁症、研究自杀并计划葬礼，之后自残监控软件最终促使学校官员向她的父母发出警报，后者进行了干预并阻止了她。该诉讼称，谷歌和母公司 Alphabet 在推出 Gemini 模型时存在疏忽，声称人工智能聊天机器人“指导”这位北卡罗来纳州青少年考虑结束自己的生命。 《纽约时报》此前报道过该案件，是指控人工智能聊天机器人使用造成伤害的多起案件之一，其中包括妄想和自杀的指控。但这也说明了近年来数千所学校采用的监控工具的局限性，这些工具表面上是为了保护学生在网上浏览和聊天时免受自身侵害。该家庭的律师安德鲁·利德尔（Andrew Liddell）告诉《连线》杂志，根据学校向该家庭提供的信息，警报发送到了九个月前离开学校的一名前辅导员的私人电话。他说，这位前雇员很努力地将警报传递给现任员工，后者随后通知了女孩的母亲。随着课堂继续依赖 Google 的低成本产品（包括 Gemini），他们应对潜在风险的能力就成为首要和核心。就在上周，全国各地的家长和教师团体谴责了谷歌的新要求，即学校如果想使用搜索就必须启用生成式人工智能功能。美国参议员埃德·马基 (Ed Markey) 在给谷歌的一封信中引用了艾玛的诉讼，要求该公司让学校禁用人工智能模式和人工智能概述，并写道，“谷歌不顾一切地将人工智能强加给学校，并像对待附带损害一样对待孩子。”根据诉讼，这位名叫艾玛·多伊 (Emma Doe) 的北卡罗来纳州女孩在 Google 搜索将她学校配发的 Google Chromebook 上的搜索结果转到 Gemini 后陷入了“严重的心理危机”。尽管艾玛的学校封锁了独立的 Gemini 网站，但诉讼称她被引导通过人工智能模式与聊天机器人进行交互，该模式可以让人们提出有关查询的后续问题或开始不相关的对话。艾玛从去年 12 月开始向 AI Mode 询问心理健康问题。根据诉讼，她询问了“严重抑郁症”和“生存的理由”，到一月底，她询问了自杀的情况。在情人节前后的两天里，她开始在 AI 模式的帮助下，在名为“葬礼”的 Google 文档中为自己写一篇 1,500 字的悼词。诉讼称，她处理这份文件的时间超过了四个星期，同时继续与 Gemini 工具交互数千次。圣帕特里克节放学后，她删除了大部分文件并重新开始。但利德尔表示，女孩表达的主题和想法并没有发生实质性改变。诉讼称，晚上 7 点 30 分左右，她的母亲据称收到了学校发来的消息，表明她的女儿处于“迫在眉睫的危险”。诉讼称，她的母亲用她的手机登录艾玛的学校账户，“看着她的女儿实时写遗书”。谷歌发言人何塞·卡斯塔涅达表示，该公司正在认真“审查诉讼中的主张”，其系统，包括人工智能模式，“旨在防止用户参与有害对话”。卡斯塔涅达说：“我们与医疗专业人士和学术专家广泛合作，构建了一些功能，帮助年轻人在需要时找到关键支持和值得信赖的资源。”艾玛一家的律师试图隐瞒学校的名称，以保护艾玛的隐私。 《连线》杂志能够确认该学校的身份，但该学校没有回复置评请求。根据《连线》对互联网档案馆的审查，近几个月来，学校在其网站底部添加了自杀预防资源的链接。利德尔告诉《连线》杂志，艾玛的学校之所以了解到她的心理健康危机，是因为它至少使用了一个第三方学生活动监控系统。他援引据称之前提供给学校家长的信息称，这些信息可能包括 GoGuardian 和 Gaggle 公司的产品。利德尔说，家人缺乏明确的答案，因为学校与他们的“合作窗口”很短。 GoGuardian 发言人 Natalia Switala 告诉《连线》杂志，由于“学生隐私义务”，该公司不能“讨论任何个别学生或学区”。 Gaggle 没有立即回复《连线》杂志的置评请求。筛选工具通常通过捕获击键或扫描文件并使用算法和人工审查来识别潜在的相关内容。目前尚不清楚学校的第三方筛选工具是否监控人工智能模式的互动，或者如果监控的话，它们的实际效果如何。 GoGuardian 在 2025 年 7 月的一篇博客文章中写道，其旗舰产品监控对话