注意防范新的AI流氓爬虫

xiao9469 · 发表于 2024-11-24 22:40:27

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

今天发现服务器负载满了注意防范新的AI流氓爬虫防止流氓,防流氓招数,防流氓神器

从后台看了一下爬取情况，发现是有个新的AI爬虫，在爬我的网站（如下图）
注意防范新的AI流氓爬虫防止流氓,防流氓招数,防流氓神器

网上查了一下基本上都是说这个爬虫的流氓行为，无视robots协议，同时也无视服务器的承受能力。。。

（网址：Claude团队引众怒，为爬数据不择手段，给爬虫改名字无视禁止规则 https://baijiahao.baidu.com/s?id=1806078128834362803&wfr=spider&for=pc 果断在程序里边设置了403 禁止

大家也查一下自己的访问日志吧该禁用的果断禁止这个爬虫的访问。。。脸书和亚马逊的爬虫也是不顾网站死活疯狂抓取的，我果断给他们都禁用了

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
网站部分内容来源于网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！