[中文正文内容]

美国警察部门正在为一项未经证实且高度保密的技术支付数十万美元,该技术使用 AI 生成的在线形象,旨在与“大学抗议者”、“激进化”政治活动家以及涉嫌毒品和人口走私犯互动并收集情报。这些信息来自 404 Media 通过公共记录请求获得的内部文件、合同和通信记录。

本文由404 Media 合作创建,404 Media 是一家由记者拥有的出版物,致力于报道技术如何影响人类。 如果您想阅读更多此类文章,请在此处注册

总部位于纽约的 Massive Blue 公司正在向警察部门出售这项技术,并将其产品称为 Overwatch,这是一种“AI 驱动的公共安全力量倍增器”,它“部署栩栩如生的虚拟代理,渗透并参与各种渠道的犯罪网络。” 根据 404 Media 获得的一份演示文稿,Massive Blue 向警察提供这些虚拟人物,这些人物可以部署在整个互联网上,其明确目的是通过短信和社交媒体与嫌疑人互动。

Massive Blue 将“边境安全”、“学校安全”和阻止“人口贩运”列为 Overwatch 的用例。 这项技术——截至去年夏天,尚未导致任何已知的逮捕——展示了私营公司向警察和边境人员推销的社交媒体监控和卧底工具类型。考虑到 Trump 政府已经撤销了数百名学生的签证,其中许多人抗议以色列在加沙的战争,因此对 Massive Blue 等工具的担忧变得更加紧迫。

404 Media 获得了一份演示文稿,其中展示了其中的一些 AI 角色。 这些角色包括一个“激进的 AI”“抗议者”,她伪装成一个 36 岁、离婚、孤独、没有孩子、对烘焙、行动主义和“身体积极性”感兴趣的女性。 演示文稿中的另一个人 AI 被描述为“‘蜜罐’ AI 角色”。 她的背景故事说她是一个来自密歇根州 Dearborn 的 25 岁女性,她的父母从也门移民过来,并且会说阿拉伯语的 Sanaani 方言。 演示文稿还说她使用各种社交媒体应用,在 TelegramSignal 上活跃,并且具有美国和国际 SMS 功能。 其他角色包括一个 14 岁男孩的“儿童贩运 AI 角色”、“AI 皮条客角色”、“大学抗议者”、“抗议活动的外聘人员”、“护送者”和“青少年”。

我们所做的报道表明,警察正在付费让一家公司帮助他们在社交媒体和互联网上部署 AI 驱动的 Bot,与他们怀疑是暴力性犯罪分子,甚至是模糊定义的“抗议者”的人交谈,希望能够生成可以用来对付他们的证据。

电子前沿基金会 (Electronic Frontier Foundation) 研究边境监控技术的 Dave Maass 告诉 404 Media:“这种让 AI 假装成某人的想法,比如一个寻找恋童癖者在网上交谈的年轻人,或者一个假恐怖分子的想法,由来已久。” “所有这些事情的问题在于,这些都是定义不清的问题。 他们实际上试图解决什么问题? 其中一个 AI 角色是护送者。 我不关心护送者。 我不关心大学抗议者。 那么,它在侵犯抗议者的宪法第一修正案权利方面有多有效呢?”

Massive Blue 与亚利桑那州 Pinal 县签订了一份价值 36 万美元的合同,该县位于 TucsonPhoenix 之间。 该县正在使用亚利桑那州公共安全厅的反人口贩运拨款支付合同费用。 Pinal 县的采购部门报告指出,它购买了“对众多 Web 和社交媒体平台的 24/7 监控”以及“在 3 个调查类别中开发、部署、监控和报告最多 50 个 AI 角色组成的虚拟工作组”。 与此同时,亚利桑那州西南部的 Yuma 县在 2023 年签署了一份价值 1 万美元的合同来试用 Massive Blue,但没有续签该合同。 Yuma 县警长办公室的一位发言人告诉 404 Media,“它不符合我们的需求”。

Massive Blue 的联合创始人 Mike McGraw 没有回答 404 Media 提出的一系列关于 Massive Blue 如何运作、它与哪些警察部门合作以及它是否曾被用于进行任何逮捕的具体问题。 “我们为我们所做的工作感到自豪,这些工作支持对人口贩运者的调查和起诉,”McGraw 说。 “我们的主要目标是帮助将这些罪犯绳之以法,同时帮助那些原本会继续遭受贩运的受害者。 如果披露专有信息,我们可能会危及这些调查,并将受害者的生命置于更大的危险之中。”

Pinal 县警长办公室告诉 404 Media,到目前为止,Massive Blue 尚未被用于任何逮捕行动。

“我们的调查仍在进行中。 Massive Blue 是这些调查的支持组成部分之一,这些调查仍在积极进行中。 尚未进行任何逮捕,”Pinal 县警长办公室公共信息官员 Sam Salzwedel 告诉 404 Media。 “需要采取多方面的措施来打击人口贩运者、毒品贩运者和其他罪犯。 Massive Blue 在这些行动中一直是一个有价值的合作伙伴,并提供了侦探正在积极追踪的线索。 鉴于这些调查正在进行中,我们无法通过提供有关任何角色的具体信息来冒着损害我们调查工作的风险。”

Salzwedel 补充说,“Massive Blue 并没有参与任何移民案件。 我们的机构不执行移民法。 Massive Blue 的支持重点是人口贩运、毒品贩运和其他调查领域。”

执法机构已采取措施防止 Massive Blue 是什么以及它是如何运作的具体细节公之于众。 在 Pinal 县关于 Massive Blue 合同的公开拨款听证会上,警长办公室拒绝告诉县议会成员该产品甚至是什么。 Pinal 县副警长 Matthew Thomas 告诉县议会,他“不能详细说明”Massive Blue 是什么,这样做会“向坏人透露我们的底牌”。

Pinal 县警长办公室没有回应多次置评请求。 亚利桑那州公共安全厅表示,“根据我们所能确定的情况,Pinal 县计划实施技术来帮助识别和解决人口贩运案件,而这正是我们资助的,”但不知道 Overwatch 的任何具体细节。

虽然这些文件没有描述 Overwatch 如何运作的每一个技术方面,但它们确实给出了它是什么的高级概述。 该公司描述了一种工具,该工具使用 AI 生成的图像和文本来创建社交媒体个人资料,这些个人资料可以与涉嫌的毒品贩运者、人口贩运者和枪支贩运者互动。 在 Overwatch 扫描开放的社交媒体渠道以寻找潜在嫌疑人后,这些 AI 角色还可以通过短信、Discord 和其他消息服务与嫌疑人进行通信。 我们获得的文件没有解释 Massive Blue 如何根据其社交媒体活动确定谁是潜在嫌疑人。 Pinal 县的 Salzwedel 说,“Massive Blue 的解决方案会抓取互联网的多个区域,而社交媒体渠道只是其中一个组成部分。 为了维护我们调查的完整性,我们无法披露任何其他信息。”

404 Media 获得的 Massive Blue 演示文稿中的一张幻灯片给出了一个名为 Jason 的“儿童贩运 AI 角色”的示例。 该演示文稿为该角色提供了一个简短的“背景故事”,其中说 Jason 是一个来自洛杉矶的 14 岁男孩,他的父母从厄瓜多尔移民过来。 他会说两种语言,是独生子,他的爱好包括动漫和游戏。 演示文稿将他的性格描述为害羞,并且与女孩互动有困难。 它还说他的父母不允许他使用社交媒体,并且他向他们隐瞒了他使用 Discord 的情况。 此外,该 AI 角色还附带一张 AI 生成的男孩图像。

演示文稿包括该 AI 角色与似乎是掠夺性成年人通过短信和 Discord 进行的对话。

“你的父母在身边吗? 还是你有一些很棒的独处时间,”来自成年人的一条短信说。

“我只是一个人冷静地待着,伙计。 我妈妈在工作,我爸爸出差了。 所以只有我和我的视频游戏。🎮,”AI 生成的孩子 Jason 回应道。

在另一个“高度适应性角色”如何与真人交流的示例中,演示文稿展示了一个“AI 皮条客角色”Clip 与似乎是性工作者的人之间的对话。

“今晚的那些伎俩试图不付钱,”性工作者说。

“事实,宝贝。 不要让这些伎俩溜走,”Clip 角色回答道。 “你要坚持立场,让他们付出他们欠的钱。 爸爸支持你,别让任何人不尊重我们的努力。 继续努力吧,妈妈,我们要确保拿到钱💰💪✨”

一份提供给警察部门的单页小册子解释了 Overwatch 的功能,其中说:“不良行为者不断演变的运营、沟通和招募策略导致威胁呈指数级增长,并在减少需求方面带来重大挑战。” “Overwatch 平台利用 AI 和区块链的力量来扩大您的影响力,而无需运营或技术开销。”

Jorge Brignoni 在 2023 年 8 月与 Massive Blue 的一次会议上为亚利桑那州 Cochise 县警长办公室做了记录,404 Media 获得了这些记录。 在这些笔记中,他写道,Overwatch 对“不良行为者、掠夺者、DTO”或毒品贩运组织进行“被动参与,然后是主动参与,以达成承诺”。 然后将这些目标“移交给 L.E. [执法部门] 进行逮捕、起诉和定罪。”

“他为什么要谈论将人们转变为‘购买东西’,”Brignoni 写道。 “太蠢了。 谈论小部件,而不是你如何向 L.E. 出售小部件。”

根据 Brignoni 的笔记,除了通过这些 AI 角色收集情报外,Overwatch 还利用“Telco & Geo Data”和“Blockchain Data”,形式为“完整交易历史记录、顶级关联钱包 ID、发送和接收加密货币、潜在的下车匝道(交易所名称)”。 Cochise 县警长办公室最终没有购买 Massive Blue,也没有回答 404 Media 关于其与该公司会面的问题。

演示文稿说,除了扫描社交媒体并让 AI 角色与嫌疑人互动外,Overwatch 还可以使用生成式 AI 创建“生命证明”图像,其中一个人拿着一个标志,上面用钢笔写着用户名和日期。

Massive Blue 的演示文稿给出了一个基于“达拉斯、休斯顿和奥斯汀 24 小时活动”的“Overwatch Recon Report”的示例。 它声称 Overwatch 识别出 3,266 名独特的人口贩运者,其中 25% 与“更大的复杂贩运组织”有关联,15% 被标记为“潜在的青少年贩运者”。 404 Media 无法验证这些帐户是什么以及它们是否实际参与了任何犯罪活动,并且 Massive Blue 没有回答有关这些帐户是什么以及它究竟如何识别它们的任何问题。

根据本次调查中获得的文件显示,除了与 Pinal 县警长办公室的持续合同以及去年与 Yuma 县警长部门的试点项目外,Massive Blue 还向亚利桑那州的 Cochise 县和德克萨斯州公共安全厅推销了其服务。

2023 年 9 月,Yuma 县安排了一次会议,该会议将包括联邦执法部门,但 Massive Blue 不得不取消该会议:“太不幸了,我们有专注于人口贩运的联邦特工准备就绪,”Yuma 县警长在 Haley 取消会议后在一封电子邮件中写给 Massive Blue 首席执行官 Brian Haley

Massive Blue 的大部分公开活动都是通过其公共安全执行董事 Chris Clem 进行的,他是一位前美国海关和边境保护局特工,去年曾在国会作证关于边境安全,并定期出现在 Fox News 和其他媒体上讨论移民和边境问题。 最近几个月,ClemLinkedIn 上发布了自己在边境以及与 Trump 政府重要成员 Tulsi GabbardRobert F. Kennedy Jr. 的合影。 Massive Blue 还依靠前堪萨斯城酋长队踢球手 Nick Lowery 向警察部门介绍和认可 Overwatch。

ClemLowery 在公开场合最广泛地谈论了 Overwatch,他们将其描述为一种无定形的“网络墙”,可以做从阻止人口贩运者到阻止黑客入侵 401(k) 帐户,再到从已经从您那里窃取钱财的黑客手中拿回钱财的任何事情,尽管他们没有提供关于这如何运作的具体信息

对播客 Theo Von 进行的长达两个半小时的采访中,Clem 说,“我的公司 Massive Blue,我们基本上使用深度技术来识别你的习惯和过程,你知道,我曾在物理墙上工作过,现在我们创建了一个网络墙,”他补充说,他相信这将“挽救生命”。

Von 问道,“好吧,但是你的公司是如何做到的?”

Clem 回答说:“好吧,我不想过多地谈论这个问题,”他补充说,他正试图将该技术出售给美国边境巡逻队。

6 月 5 日,在 Pinal 县监事会的一次会议上,有人要求批准该县与 Massive Blue 签订的一份价值 50 万美元的合同,以便授权 Overwatch。

“我在浏览 Massive Blue 的网站,它是一个只有一页纸,没有其他信息和链接的网站,”第一区当时的监管员 Kevin CavanaughPinal 县警长办公室的首席副警长 Matthew Thomas 说。 “他们生产我们购买的软件,它可以做什么? 你能向我们解释一下吗?”

Thomas 说:“我不能详细说明,因为它本质上是商业机密,我不想向坏人透露我们的底牌。” “但我可以告诉你的是,该软件旨在帮助我们的调查人员寻找和发现并建立人口贩运、毒品贩运和枪支贩运的案件。”

Cavanaugh 在董事会会议上说,他得到的基本信息是 Massive Blue 使用“50 个 AI Bot”。 然后他问该软件是否成功,以及它是否帮助执法部门进行了任何逮捕。 Thomas 解释说,他们尚未进行任何逮捕,因为他们只看到了概念验证,但概念验证“对我们和我们的调查人员来说已经足够好,可以继续进行。 一旦获得批准,我们与他们 [Massive Blue] 签订合同,那么我们将继续起诉案件。”

Cavanaugh 询问 Overwatch 是否在其他县使用,这促使 Thomas 邀请 Clem 到讲台上发言。 Clem 介绍自己是一位最近退休的边境特工,并说 Massive Blue 目前正在与包括 Pinal 县在内的亚利桑那州三个县进行谈判。

“作为在 Pinal 县居住 14 年的居民,我知道这里正在发生什么,”Clem 对监事会说。 “能够使用此程序 [...] 提供所有必要的信息,以打击在线剥削儿童、贩运受害者以及警长可能想要打击的所有其他垂直领域。”

Cavanaugh 再次询问 Massive Blue 是否收集到任何导致逮捕的数据。

Clem 说:“我们尚未进行逮捕,但目前正在对纵火案进行调查,我们为调查人员提供了线索,”他解释说,该计划仅活跃了大约六个月。 “调查需要时间,但我们已经能够为我们参与的特定县以及私营部门生成必要的线索。”

Pinal 县监事会通过批准支付一些其他不相关的项目来结束了此次交流,但董事会成员要求推迟对 Massive Blue 的付款进行投票,“以作进一步研究”。

一家当地报纸报道了当天不资助 Massive Blue 的决定。 Cavanaugh 告诉该报,他要求该公司与监管员会面,以解释该软件的优点。

“亚利桑那州提供了一笔赠款,但赠款资金是纳税人的钱。 无论资金来源如何,打击人口贩运和性交易都非常重要,不能将 50 万美元的资金用于未经证实的技术,”他说。 “如果该公司能够证明它可以提供逮捕人口贩运者的证据,那么这可能是值得的。 但是,它尚未实现这一目标。”

404 Media 的公共记录请求产生了 Cavanaugh 办公室发给 IT 专业人员和其他向执法部门提供 AI 产品的公司的几封电子邮件,询问他们是否熟悉 Massive Blue。 我们不知道在这些会议上说了些什么,或者这些会议是否发生了,但是当 Pinal 县监事会在 6 月 19 日再次召开会议时,它投票支付 Massive Blue 的 Overwatch 的费用,而没有进一步讨论。

“监管员 [Cavanaugh] 最终投票赞成该协议,因为 Massive Blue 据称正在追捕人口贩运者,这是一个崇高的目标,”Cavanaugh 办公室的一位代表在电子邮件中告诉 404 Media。 “关于使用该应用程序的一个主要担忧是,政府不应监控每个公民。 据他所知,到目前为止,尚未使用该应用程序进行任何逮捕。 如果 Overwatch 被用于逮捕人口贩运者,那么该计划应该继续。 但是,如果它只是被用于收集对守法公民的监视,并且没有导致任何逮捕,那么该计划就需要停止。”

在 2024 年 8 月 7 日的监事会会议上,Cavanaugh 询问当时的 Pinal 县警长 Mark Lamb 关于 Massive Blue 的最新情况。 “那么他们还没有产生任何结果? 他们没有提供任何线索? 没有可操作的证据?” Cavanaugh 问道。 “这将是公开知识,这将是公共信息。”

Lamb 说:“我认为他们有很多正在进行的调查,他们不会向你提供信息,我们也不会向你提供信息。”