去评论
dz插件网

注意防范新的AI流氓爬虫

xiao9469
2024/11/24 22:40:27
今天发现服务器负载满了

从后台看了一下爬取情况,发现是有个新的AI爬虫,在爬我的网站(如下图)

网上查了一下 基本上都是说这个爬虫的流氓行为,无视robots协议,同时也无视服务器的承受能力。。。

(网址:Claude团队引众怒,为爬数据不择手段,给爬虫改名字无视禁止规则 https://baijiahao.baidu.com/s?id=1806078128834362803&wfr=spider&for=pc 果断在程序里边设置了403 禁止

大家也查一下自己的访问日志吧  该禁用的果断禁止这个爬虫的访问。。。脸书和亚马逊的爬虫也是不顾网站死活疯狂抓取的,我果断给他们都禁用了