·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
返回列表 发布新帖

大家来汇总下,那些垃圾AI爬虫要屏蔽吧

138 6

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
如题

现在AI爬虫太多了

经常是几十万的爬取

大家来汇总一下都有那些垃圾AI爬虫吧


。。。。
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论6

IT618发布Lv.8 发表于 2024-8-17 10:16:59 | 查看全部
之前论坛好像有人发过屏蔽垃圾蜘蛛
我要说一句 收起回复
TyCodingLv.8 发表于 2024-8-17 10:17:53 | 查看全部
铜球一份最新的
我要说一句 收起回复
婷姐Lv.8 发表于 2024-8-17 10:18:43 | 查看全部
ai
也爬嘛
我要说一句 收起回复
浅生Lv.8 发表于 2024-8-17 10:19:14 | 查看全部
你要反过来做,不是去屏蔽什么垃圾爬虫,而是只允许特定的几个搜索引擎爬虫。否则你要不停更新 robots。

也就是要从黑名单转为白名单。
我要说一句 收起回复
独家记忆Lv.8 发表于 2024-8-17 10:19:56 | 查看全部
最好是接入CloudFlare的AI 爬虫防护 (AI Scrapers and Crawlers) 屏蔽垃圾爬虫
我要说一句 收起回复
CrystαlLv.8 发表于 2024-8-17 10:20:12 | 查看全部
https://www.4414.cn/thread-202512-3-1.html

有说明
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.227.49.73,GMT+8, 2024-11-22 08:27 , Processed in 0.389543 second(s), 119 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表