注意防范新的AI流氓爬虫
今天发现服务器负载满了
从后台看了一下爬取情况,发现是有个新的AI爬虫,在爬我的网站(如下图)
网上查了一下 基本上都是说这个爬虫的流氓行为,无视robots协议,同时也无视服务器的承受能力。。。
(网址:Claude团队引众怒,为爬数据不择手段,给爬虫改名字无视禁止规则 https://baijiahao.baidu.com/s?id=1806078128834362803&wfr=spider&for=pc 果断在程序里边设置了403 禁止
大家也查一下自己的访问日志吧 该禁用的果断禁止这个爬虫的访问。。。脸书和亚马逊的爬虫也是不顾网站死活疯狂抓取的,我果断给他们都禁用了
从后台看了一下爬取情况,发现是有个新的AI爬虫,在爬我的网站(如下图)
网上查了一下 基本上都是说这个爬虫的流氓行为,无视robots协议,同时也无视服务器的承受能力。。。
(网址:Claude团队引众怒,为爬数据不择手段,给爬虫改名字无视禁止规则 https://baijiahao.baidu.com/s?id=1806078128834362803&wfr=spider&for=pc 果断在程序里边设置了403 禁止
大家也查一下自己的访问日志吧 该禁用的果断禁止这个爬虫的访问。。。脸书和亚马逊的爬虫也是不顾网站死活疯狂抓取的,我果断给他们都禁用了