robots.txt只让百度蜘蛛进来，这样写是对的吗

𝕷𝖎𝖑𝖏𝖆𝖈𝖐 · 发表于 2023-11-22 12:16:38

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

robots.txt只让百度蜘蛛进来，这样写是对的吗可可,点微,it618,西瓜

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
网站部分内容来源于网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

独家记忆 · 发表于 2023-11-22 12:17:03

你最后一句的意思是任何目录都不让看吗

Crystαl · 发表于 2023-11-22 12:17:20

蜘蛛做爆服务器了

Crystαl · 发表于 2023-11-22 12:18:16

第三个不就同意所有了吗还有最后一个没看懂

Crystαl · 发表于 2023-11-22 12:18:59

把第二行和第三行去掉就对了

TyCoding · 发表于 2023-11-22 12:19:55

正解

独家记忆 · 发表于 2023-11-22 12:20:45

第二行要改成allow 允许的意思

IT618发布 · 发表于 2023-11-22 12:21:31

User-agent: Baiduspider：表示该规则适用于百度蜘蛛机器人。
Disallow: 表示禁止百度蜘蛛机器人访问的页面或目录。
User-agent: *：表示该规则适用于所有的搜索引擎机器人。
Disallow:/：表示禁止所有的搜索引擎机器人访问根目录下的所有页面和目录。
百度蜘蛛机器人将无法访问根目录下的任何页面或目录，其他搜索引擎机器人也无法访问根目录下的任何页面或目录。

User-agent :Baiduspider：指定该规则适用于百度蜘蛛机器人。
Allow:/：允许百度蜘蛛机器人访问网站的根目录及以下所有内容。
User-agent :*：指定该规则适用于所有机器人。
Disallow:/：禁止所有机器人访问网站的根目录。
百度蜘蛛可以正常访问和索引你的网站内容，而其他机器人则无法访问网站的根目录。