付费（5个大洋）求解一采集回显403 是怎么做到的

IT618发布 · 发表于 2023-12-29 11:26:37

**User-agent: ***
      User-agent 指定了哪些机器人或爬虫应遵循接下来的规则。星号 (*) 是一个通配符，表示这些规则适用于所有用户代理。

Disallow: /admin
      这意味着禁止爬虫访问网站上的 /admin 目录或页面。

Disallow: /user-*
      这意味着禁止爬虫访问所有以 /user- 开头的URLs。例如，/user-profile 或 /user-settings 等。

Disallow: /search-*
      与上一个类似，这阻止爬虫访问所有以 /search- 开头的URLs。

Disallow: /?
      这个规则可能是一个误写或特定于某个环境。它看起来像是试图阻止任何包含查询参数的URL，但格式可能不正确。标准的写法可能是 Disallow: /*?*，但这实际上是一个无效的规则，因为查询参数通常不放在URL的路径部分，而是放在查询字符串中。

Disallow: /plugin/jan/font/
      禁止爬虫访问 /plugin/jan/font/ 路径下的任何文件或目录。

Disallow: /sg_sign
Disallow: /captcha_get
Disallow: /captcha_check
Disallow: /get_music.php
Disallow: /pan_code.php
      这些是针对特定文件或路径的禁止访问规则。它们基本上意味着爬虫不应该访问这些特定的URLs或文件。