·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
返回列表 发布新帖

robots.txt如何屏蔽垃圾外链网址?内容如何写?

467 4

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
robots.txt如何屏蔽垃圾外链网址?内容如何写?
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论4

CrystαlLv.8 发表于 2023-1-15 21:05:58 | 查看全部
  1. # 屏蔽垃圾蜘蛛# --------------------------------User-agent: NucleiUser-agent: WikiDoUser-agent: RiddlerUser-agent: PetalBotUser-agent: ZoominfobotUser-agent: Go-http-clientUser-agent: Node/simplecrawlerUser-agent: CazoodleBotUser-agent: dotbot/1.0User-agent: GigabotUser-agent: BarkrowlerUser-agent: BLEXBotUser-agent: magpie-crawlerDisallow: /# 屏蔽外联 以Disallow项的值开头的URL不会被robot访问。# --------------------------------Disallow:/help 禁止robot访问/help.html、/helpabc.html、/help/index.htmlDisallow:/help/ 允许robot访问/help.html、/helpabc.html,不能访问/help/index.htmlDisallow: /qwe/*.htm 禁止访问/qwe/目录下的所有以".htm"为后缀的URL(包含子目录)。Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
复制代码
我要说一句 收起回复
TyCodingLv.8 发表于 2023-1-15 21:06:23 | 查看全部
这玩意不是站内?
我要说一句 收起回复
独家记忆Lv.8 发表于 2023-1-15 21:06:35 | 查看全部
那屏蔽的要很多啊
我要说一句 收起回复
拾光Lv.8 发表于 2023-1-15 21:07:10 | 查看全部
这个东西就不能屏蔽外链,只能屏蔽站内链接
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:3.147.104.18,GMT+8, 2024-11-22 00:00 , Processed in 0.662281 second(s), 103 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表