Benn Jordan的AI投毒和对抗性噪声的奇妙世界
Peter Kirn - 2025年4月15日 1 条评论 分享 Tweet
Benn Jordan最新的视频提出了一种反击生成式AI音乐服务盗用音乐数据集的方法。 虽然尚未成熟，但它确实为我们打开了一扇窗，让我们看到了对抗性噪声投毒攻击这个狂野而奇妙的世界。
如果你也身处像我这样的圈子，可能已经有人问过你：“嘿，你看过那个新的Benn Jordan视频了吗？” 我猜你可能已经看过了，但还是把它放在这里：
Benn的方法应该具有真正的潜力。 有两个理由可以乐观。 首先，这种技术家族适用于音频，因此它涵盖了所谓的“analog loophole”：它在任何可以听到声音的地方都能起作用。 其次，有可能使用_不同_的方法，从而混淆结果。 你还可以验证结果，这意味着如果服务做出反应，这些方法可以进行更新。
有趣的是，当我和Roland的Paul McCabe谈论该公司在AI方面的举措时，我提出了一个推测性的设计，即你可以按下一个按钮来阻止训练一段表演。 Benn实际上直接去找数据科学研究人员，了解如何做到这一点——即使是在现场乐器演奏中。 所以，是的，这是可能的。（当然，如果整个视频中你最喜欢的音乐是22:00的定向压力波攻击，那你就是CDM的读者。 真正的AI攻击对人类来说是听不见的，而不是像这里一样可以听到——但这正是我喜欢的音乐。）
但最重要的是：这些方法揭示了训练集和生成音频之间的关系。 像Benn一样，我对生成声音、算法音乐、机器学习感兴趣。 这不是像体育运动一样支持或反对AI的问题。 我们讨论的是对一项技术的批判性审查，这项技术正在消耗大量资源并重塑我们周围的世界。 这些技术所做的事情——即使生成模型找到了规避它们的方法——是揭示了该技术的工作原理。 在这个世界需要透明度而不是另一个绿野仙踪式的把戏的时候，它打破了一些神话。
最大的问题——剧透警告——是这需要高端GPU以及大量的电力和时间才能实现。 计算本身并不会神奇地减少功耗，尤其是在半导体贸易战逼近的情况下。 但既然这个想法已经提出来了，那么挑战将是设计一种更有效的方法；至少这可以作为一个概念验证。
简而言之，我支持它。 而且我确实预计对训练的恐惧会阻止一些人将音乐发送到流媒体服务。 正如Benn所做的那样，不难想象一个分销商授权这项技术以让制作人更加安心的世界。 还记得21世纪初我们担心保护音乐免受人类粉丝的侵害吗？ 现在我们正在保护它免受生成式AI的侵害。
不过，值得观看这个视频，因为对抗性噪声的整个世界都变得引人入胜——并且是一种想象如何入侵日益增长的AI和监控的方式。 因此，这一切不仅仅是关于Poisonify概念（尽管这已经至关重要）。
进入数据科学
以下是关于田纳西大学诺克斯维尔分校开发的和谐隐蔽工具的更多信息：
你听不见，但田纳西大学的工具“隐藏”歌曲以保护音乐免受AI侵害 [Knoxville News] 该网站/论文还有一个调查： HarmonyCloak：使生成式AI无法学习音乐
据我所知，乐器分类攻击是一种新颖的方法。
正如Benn在视频中指出的那样，即使它没有在数字发行和DSP中找到市场，Benn所做的AI检测算法研究仍然引人注目：
Benn Jordan已经制作了一种算法，可以检测音乐是否由AI制作
你会在不同的背景下找到很多关于对抗性噪声的信息——因为这可以是一种训练神经网络分类器的方法，也是一种攻击这些系统的方法。（基本上有“友好的”和“不友好的”——即使我知道这与“对抗性”这个词的通常含义相冲突。 可以把它想象成“我挑战你下棋是为了教你一些东西”与“我挑战你下棋是为了_控制你的思想_”。）
而且这些东西发展得_很快_。 这是Los Alamos National Laboratory，他们从未与友好使用科学和技术以外的任何事物联系在一起：
或者是一些2022年国际神经信息处理系统会议的论文： 对抗对抗性噪声的友好噪声：一种针对数据投毒攻击的强大防御
2020年和IBM Watson： [PDF] 噪音在我体内！生成具有从自然滤波器导出的噪声的对抗性扰动
视频中讨论的定向压力波攻击正在针对机器部署，但它们也因用于针对人类的声波武器而闻名。 这很可能是在古巴的脉冲微波能量中引起严重神经系统症状的原因，即所谓的“Havana Syndrome”——声音作为一种神经武器。
但是至于使用声音对抗机器，这里有： 具有随机噪声的神经对抗攻击
以及可用于攻击的相同更广泛类别的机制也可用于训练： 用于对抗训练的建模对抗噪声 通过模型检查对深度强化学习策略的定向对抗攻击
一位真正的数据科学家可能会有一些更好的想法； 我只是在电视上扮演一个数据科学家。
无论如何，是的，我的乐趣是制作音乐，我真的不觉得genAI音乐有趣，但我确实也喜欢想象通过重新连接机器监听来错误地分类事物来生成前所未闻的音乐。
而且，我的意思是，显然我们需要制作一些（可听的）对抗性噪声攻击的音乐合辑，尽管我想我们应该小心如何分发它。 我认为我只对发生故障的Alexa感兴趣，所以这可能会说服我尝试购买别人的旧型号只是为了搞乱它。 我……也更喜欢搞砸的音乐结果。
如果这段漫无边际的论述让你昏昏欲睡，来吧，让我再用愤怒唤醒你。
这是激发顶部图像的剪辑； 这是来自Suno.ai创始人Mikey Shulman的一句话：
PETER KIRN · ["现在制作音乐真的不好玩" -Anakin Skywalker](https://cdm.link/benn-jordan-ai-poison-pill/https:/soundcloud.com/peterkirn/its-not-really-enjoyable-to-make-music-anakin-skywalker ""现在制作音乐真的不好玩" -Anakin Skywalker")
哦，抱歉，这是用AI生成的Anakin Skywalker的声音说出的文本。（我只是受到这次对话的启发； 句子结构似乎相似。） 这是原始剪辑的上下文，他在其中还说人们不喜欢跑步（再次，也许暗示了一种Darth Vader式的解决方案）：
“现在制作音乐真的不好玩……这需要很多时间，需要很多练习，你必须非常擅长乐器或非常擅长制作软件。 我认为大多数人不喜欢他们花在制作上的大部分时间…… pic.twitter.com/zkv73Bhmi9 — Mike Patti (@mpatti) 2025年1月11日
标签: adversarial noise, AI, AI weapons, artists, Benn Jordan, business, Darth Vader, data science, data sets, genAI, generative AI, hacks, machine learning, opinion, poison pills, streaming, The Flashbulb
上一篇文章Vela混响，现在处于公开测试阶段，打开了你可以重塑的丰富混响
相关文章
AImachine learning
VDMX6获得视觉：视频跟踪、颜色转移、背景移除
artists
冉冉升起的声音：抗议期间来自格鲁吉亚的音乐
artists
Ahmed Muin用歌声提升了加沙；现在他需要饮用水
artists
Eric Singer的Ther’minator将LIDAR转换为模块化CV
CDM是为制作和播放音乐和动作的人们提供的家。
每周在您的收件箱中获取我们的新闻和特别优惠：
订阅
选择接收新闻和更新。
订阅
谢谢！
您已成功加入我们的订阅者列表。
Made by Create Digital Media, GmbH in Berlin