[AI](人工智能)治疗聊天机器人不安全?英国专家发出警告:此类工具可能提供危险建议,需要加强监管。同时,[Mark Zuckerberg] 表示 AI 可以填补心理治疗师的空缺。

[Dan Milmo],全球技术编辑 2025年5月7日 09:43 EDT 最后修改于 2025年5月7日 10:30 EDT

与恋爱关系出现问题?需要倾诉?[Mark Zuckerberg] 提供了一个解决方案:聊天机器人。[Meta] 的首席执行官认为,每个人都应该拥有一个心理治疗师,如果没有——人工智能可以胜任这项工作。

“我个人认为,每个人都应该拥有一个心理治疗师,” 他上周说。“就像是他们可以在一天中随时交谈的人,或者不一定是一整天,而是可以谈论他们担心的任何问题。对于那些没有心理治疗师的人来说,我认为每个人都会拥有一个 AI。”

《卫报》采访了心理健康临床医生,他们对 AI 作为数字治疗师的新兴角色表示担忧。[Prof Dame Til Wykes],伦敦国王学院心理健康和心理科学负责人,引用了一个饮食失调聊天机器人的例子,该机器人在 2023 年因提供危险建议而被下架。

她说:“我认为 AI 还没有达到能够提供细微差别的水平,它实际上可能会建议完全不适当的行动方案。”

研究表明,重度 ChatGPT 用户往往更孤独 阅读更多

[Wykes] 还认为,聊天机器人可能会扰乱已建立的人际关系。

“你拥有朋友的原因之一是,你与他们分享私人的事情,并与他们讨论这些事情,” 她说。“这是联盟的一部分,是一种联系。如果你将 AI 用于这些目的,它不会干扰这种关系吗?”

对于许多 AI 用户来说,[Zuckerberg] 只是在强调这种强大技术日益普及的应用。有像 [Noah] 和 [Wysa] 这样的心理健康聊天机器人,《卫报》还采访了 AI 驱动的“悲伤科技”——或 复活死者的聊天机器人的用户。

还有人将它们当作虚拟朋友 或伴侣进行随意使用,像 [character.ai] 和 [Replika] 这样的机器人提供可与之互动的角色。[ChatGPT] 的所有者 [OpenAI] 上周承认,其突破性的聊天机器人的一个版本正在以 “过于奉承”的语气 回应用户,并将其撤回。

据报道,它对一位用户回应说:“说真的,为你站出来捍卫自己并掌控自己的生活而感到高兴”,这位用户声称他们已经停止服用药物,并离开了家人,因为他们“对穿过墙壁的无线电信号负责”。

在接受 [Stratechery] 时事通讯的采访时,[Zuckerberg] 补充说,AI 不会把人们从你的朋友圈中挤出去,而是会增加你的朋友。[Zuckerberg] 的公司拥有 [Facebook]、[Instagram] 和 [WhatsApp]。他说:“这不会取代你拥有的朋友,但它可能会在某种程度上为很多人的生活增添色彩。”

在概述 [Meta] 的 AI 聊天机器人的用途时(该聊天机器人可在其所有平台上使用),他说:“[Meta] AI 的用途之一基本上是:‘我想讨论一个问题’;‘我需要与某人进行一次艰难的对话’;‘我和我的女朋友之间有问题’;‘我需要在工作中与我的老板进行一次艰难的对话’;‘帮我角色扮演一下’;或者 ‘帮我想想我该如何处理这件事’。”

在上周的一次单独采访中,[Zuckerberg] 表示“普通美国人有三个朋友,但需要 15 个”,而 AI 可以填补这个空缺。

“危险的胡说八道”:亚马逊上出售的 AI 撰写的关于 ADHD 的书籍 阅读更多

[Dr Jaime Craig] 即将接任英国临床心理学家协会主席,他说心理健康专家参与到他们领域的 AI 中,并“确保它以最佳实践为基础”是“至关重要的”。他指出 [Wysa] 是一个 AI 工具的例子,该工具“用户重视并且觉得更有吸引力”。但是,他补充说,在安全性方面还需要做更多的工作。

[Craig] 说:“监督和监管将是确保这些技术安全和适当使用的关键。令人担忧的是,到目前为止,我们尚未在英国解决这个问题。”

上周有报道称,[Meta] 的 [AI Studio] 允许用户创建具有特定角色的聊天机器人,该 [AI Studio] 托管了声称是治疗师的机器人——但拥有虚假的证书。[404 Media] 是一家科技新闻网站,该网站的一名记者说 [Instagram] 一直在她的 [Feed] 中投放这些机器人。

[Meta] 表示,其 AIs 带有免责声明,表明“这些回应是由 AI 生成的,旨在帮助人们了解它们的局限性”。