理解 Anubis 的工作原理:防御 AI 爬虫的 Proof-of-Work 机制
文章介绍了名为 Anubis 的防御机制,用于对抗 AI 爬虫对网站的攻击。Anubis 采用 Proof-of-Work 机制,类似于 Hashcash,通过增加爬虫的计算成本来限制其大规模爬取行为,从而保护网站资源。这种方案对普通用户影响较小,但能有效阻止爬虫。文章强调 Anubis 是一种权宜之计,最终目标是结合指纹识别等技术,减少对合法用户的干扰。同时,提醒用户禁用可能阻止 Anubis 正常运行的插件,如 JShelter。
确保你不是一个机器人!
计算中... 难度: 4, 速度: 0kH/s
为什么我会看到这个页面?
你看到这个页面是因为该网站的管理员设置了 Anubis 来保护服务器,以对抗 AI 公司大规模爬取网站 的行为。这种行为会(并且确实会)导致网站停机,使得所有人都无法访问其资源。
Anubis 是一种折衷方案。Anubis 使用了一种 Proof-of-Work 机制,类似于 Hashcash,Hashcash 是一种用于减少电子邮件垃圾邮件的提议的 Proof-of-Work 方案。其思想是,对于单个用户来说,额外的负载可以忽略不计,但是对于大规模爬虫来说,这种负载会累积起来,使得爬取成本大大增加。
最终,这是一种权宜之计,其真正目的是提供一个“足够好”的占位符解决方案,以便花更多时间在指纹识别和识别无头浏览器(例如:通过它们进行字体渲染的方式)上,从而无需向更可能是合法用户的用户呈现挑战 Proof-of-Work 页面。
请注意,Anubis 需要使用现代 JavaScript 功能,而像 JShelter 这样的插件会禁用这些功能。请为该域名禁用 JShelter 或其他此类插件。
受 Anubis 保护,来自 Techaro。用 ❤️ 在 🇨🇦 创建。
吉祥物设计由 CELPHASE 完成。