applebot是什么爬虫苹果的吗?

迪巴拉 · 发表于 2024-1-17 12:25:24

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

是不?;;

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
网站部分内容来源于网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

TyCoding · 发表于 2024-1-17 12:26:24

关于 Applebot

了解有关 Apple 网络爬虫工具 Applebot 的信息。

Applebot 是 Apple 推出的网络爬虫工具。“Siri 建议”和“聚焦建议”等产品均使用 Applebot。
识别 Applebot

来自 Applebot 的流量可通过它的用户代理进行识别，反向 DNS 会以 *.applebot.apple.com 域（源自 17.0.0.0 网络块）格式显示这类流量。
确认流量是不是来自 Applebot

在 macOS 中，可以使用 host 命令来确定 IP 地址是不是 Applebot 的一部分。以下示例显示了 host 命令和相应的结果：

$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

另外，host 命令还可用于确认 DNS 是不是指向同一 IP 地址：

$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.

确认 Applebot 用户代理

用户代理字符串包含“Applebot”和其他信息。格式如下：

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

适用于台式电脑的示例：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5
(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15
(KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)

适用于移动设备的示例：

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1;
+http://www.apple.com/go/applebot)

Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z
(KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)

自定 robot.txt 规则

Applebot 遵循以 Applebot 为目标的标准 robots.txt 指令。在以下示例中，Applebot 不会尝试抓取 /private/ 或 /not-allowed/ 下的文稿：

User-agent: Applebot       # apple
Allow: /                   # Allow everything (also true if omitted)
Disallow: /private/       # disallow this directory

User-agent: *             # any robot
Disallow: /not-allowed/    # disallow this directory

如果机器人指令没有提及 Applebot，但提及了 Googlebot，则 Apple 机器人会遵循 Googlebot 指令。

呈现和机器人规则

Applebot 可在浏览器中呈现您网站的内容。如果通过 robots.txt 阻止了 javascript、CSS 和其他资源，则可能无法正常呈现内容。这包括页面可能需要的 XHR、JS 和 CSS。

为了让 Applebot 针对页面的最佳内容创建索引，请确保 Applebot 能够访问用户呈现页面所需的一切内容。或者，确保网站简洁地呈现出来，即使所有资源都不可用。这通常称为平稳退化。

为 Applebot 自定索引规则

Applebot 支持 HTML 文稿中的 robots 元标签。要在元标签中指定 robots 规则，请将标签置于文稿的 <head> 部分中（如下所示）：

<html><head>
<meta name="robots" content="noindex"/>
...
</head>
<body>...</body>
</html>

Applebot 还支持以下指令：

noindex：Applebot 不会针对这个页面创建索引，也不会出现在“聚焦建议”或“Siri 建议”中。
nosnippet：Applebot 不会为页面生成描述或网页应答。所有示意访问这个 URL 的建议都仅包含页面的标题。
nofollow：Applebot 不会追踪页面上的任何链接。
none：如上所述，Applebot 不会针对页面创建索引、生成片段或追踪页面上所示的链接。
all：Applebot 会针对建议提供文稿并生成内容片段，以便在具有代表性的图片旁边显示有关页面的简短描述。Applebot 可能会追踪页面上所示的链接，以提供更多建议。

要将多个指令置于单个元标签中，请使用以逗号分隔的列表或使用多个元标签。示例：

<meta name="robots" content="nosnippet, noindex”>

<meta name="robots" content=“noindex">

<meta name="robots" content=“nosnippet">

关于搜索排名

在对网页搜索结果进行排名时，Apple Search 可能会考虑以下因素：

用户对于搜索结果的聚合参与度
搜索词与网页主题和内容的相关性和匹配度
网站其他页面中的链接的数量和质量
基于用户位置的信号（近似数据）
网页设计特征

在预先没有确定排名重要性的情况下，搜索结果可能会使用上述因素。Search 用户应遵守“Siri 建议、搜索与隐私”中的隐私政策。