【CNMO 科技消息】近日，美国佛罗里达州德兰市西南中学（Southwestern Middle School）一名 13 岁学生被逮捕并羁押于监狱。CNMO 从外媒获悉，事件起因是他在学校设备上使用 OpenAI 的 ChatGPT 时，输入了 " 如何在上课过程中杀死我的朋友 " 这一令人不安的提问。该查询被学校部署的人工智能监控系统 Gaggle 实时捕获，并立即向校警发出警报。

涉事学生事后声称，自己只是在 " 开玩笑 "，并非真有恶意。然而，根据自动化监控协议，系统仍触发执法介入。

Gaggle 是美国中小学广泛采用的安全监控服务，其主要功能是通过实时分析学生在校设备上的数字活动（包括浏览器使用、文档内容、搜索引擎查询及通讯记录）来预防暴力或自残事件。该公司宣称其服务覆盖全美近 500 万学生，部分学区每年需支付高达 6 万美元的费用。

然而，该系统长期因误报率过高而受到批评。Gaggle 自行披露的数据显示，仅有约 0.0036% 的警报属于 " 严重事件 "，即每 10 万次警报中仅有约 36 次是合理警告，其余 99.9964% 均为误报。实际案例中，误报内容包括学生作业、朋友间的玩笑对话等。例如，在堪萨斯州劳伦斯市，过去 10 个月内 Gaggle 发出的 1200 次警报中，近三分之二被判定为无害，其中超过 200 次是学生提交的家庭作业。

批评者指出，此类系统可能造成 " 类监控国家 " 的校园氛围，并对学生产生严重的心理后果。在佛罗里达州波尔克县，过去四年中近 500 次 Gaggle 警报导致了 72 起根据《贝克法案》（Baker Act，佛罗里达州精神病强制评估法律）的非自愿住院治疗。许多案例中，学生因随意言论遭遇逮捕、强制心理评估或羁押，尽管未构成真实威胁，但仍需面对长期心理创伤及法律后果。

相关报道

目前，尚无独立研究证明人工智能监控能显著降低学生自杀率或校园暴力。2023 年的一项研究发现，关于此类系统的益处或风险仅有有限证据，这使得高额投资与潜在学生权益损害之间的成本效益比受到质疑。