robots的参数含义

哥斯拉 · 发表于 2022-2-14 16:19:09

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

User-agent: *Disallow: /Allow: /$

复制代码

Allow: /$ 是什么意思呢

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
网站部分内容来源于网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

浅生 · 发表于 2022-2-14 16:19:59

disallow:/后面，所以整体的意思是不允许访问根地址，可以访问其它子一级的/结尾的地址

浅生 · 发表于 2022-2-14 16:20:33

2、Disallow

Disallow用来说明不允许搜索引擎蜘蛛抓取的URL路径。

例如：Disallow: /index.php 禁止搜索引擎抓取index.php文件

3、Allow

Allow用来说明允许搜索引擎蜘蛛爬行的URL路径

例如：Allow: /index.php 允许搜索引擎抓取index.php文件

4、通配符*

用星号*来做通配符，表示0个或任意多个字符！

例如：Disallow: /*.jpg 网站所有的jpg文件被禁止抓取。

5、结束符$

用美元符号$来做结束符，表示以它前面的字符为结束的url。

例如：

Disallow: /?$ 禁止抓取所有以问号?结尾的文件；

Allow: .html$ 允许抓取所有以.html为后缀的文件。