自由开源软件基础设施面临来自 AI 公司的攻击
2025-03-21 14:27 by 龙族旧路：龙族遗产Ⅰ
开源软件开发平台 SourceHut 创始人兼 CEO Drew DeVault 通过其个人博客抨击 AI 公司不尊重 robosts.txt 而大肆抓取数据导致 SourceHut 服务中断。KDE GitLab 基础设施因被阿里巴巴的 AI 爬虫淹没导致开发者在短时间内无法访问。为了阻止 AI 公司的爬虫抓取数据，GNOME 项目部署了工作量证明工具 Anubis，Anubis 向浏览器展示一个网页，要求浏览器花时间执行数学运算并将结果返回给服务器，如果答案正确，就可以访问该网站。GNOME 系统管理员 Bart Piotrowski 在 Mastodon 上公开了一些数据：两个半小时内收到了 81k 个请求，其中只有 3% 通过了 Anubi 的工作量证明，意味着 97% 的流量来自机器人爬虫，这是一个疯狂的数字。LWN 的主编 Jonathan Corbet 警告，由于 AI 爬虫的 DDoS 攻击，网站可能偶尔会出现访问缓慢的情况，他表示网站访问流量只有很小一部分来自人类读者，AI 爬虫有时会从数百个 IP 地址同时发动相当于 DDoS 攻击 的请求，AI 爬虫唯一不抓取的内容是 robosts.txt。Fedora 项目系统管理员 Kevin Fenzi 因难以区分 AI 爬虫而屏蔽了整个巴西的 IP 地址。Inkscape 项目也面临类似的攻击。AI 爬虫的访问频率非常高，它们每隔几小时就会再次尝试抓取数据。开源项目相比闭源项目受到更大的影响，因为整个项目的基础设施是公开的，它们的资源也更有限。
thelibre:FOSS infrastructure is under attack by AI companies
#开源
2025-03-21 14:27 by 龙族旧路：龙族遗产Ⅰ
开源软件开发平台 SourceHut 创始人兼 CEO Drew DeVault 通过其个人博客抨击 AI 公司不尊重 robosts.txt 而大肆抓取数据导致 SourceHut 服务中断。KDE GitLab 基础设施因被阿里巴巴的 AI 爬虫淹没导致开发者在短时间内无法访问。为了阻止 AI 公司的爬虫抓取数据，GNOME 项目部署了工作量证明工具 Anubis，Anubis 向浏览器展示一个网页，要求浏览器花时间执行数学运算并将结果返回给服务器，如果答案正确，就可以访问该网站。GNOME 系统管理员 Bart Piotrowski 在 Mastodon 上公开了一些数据：两个半小时内收到了 81k 个请求，其中只有 3% 通过了 Anubi 的工作量证明，意味着 97% 的流量来自机器人爬虫，这是一个疯狂的数字。LWN 的主编 Jonathan Corbet 警告，由于 AI 爬虫的 DDoS 攻击，网站可能偶尔会出现访问缓慢的情况，他表示网站访问流量只有很小一部分来自人类读者，AI 爬虫有时会从数百个 IP 地址同时发动相当于 DDoS 攻击 的请求，AI 爬虫唯一不抓取的内容是 robosts.txt。Fedora 项目系统管理员 Kevin Fenzi 因难以区分 AI 爬虫而屏蔽了整个巴西的 IP 地址。Inkscape 项目也面临类似的攻击。AI 爬虫的访问频率非常高，它们每隔几小时就会再次尝试抓取数据。开源项目相比闭源项目受到更大的影响，因为整个项目的基础设施是公开的，它们的资源也更有限。
thelibre:FOSS infrastructure is under attack by AI companies
#开源