关于 Google 搜索运作方式的深度指南

𝕷𝖎𝖑𝖏𝖆𝖈𝖐 · 发表于 2023-11-3 22:07:02

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

Google 搜索是一款全自动搜索引擎，会使用名为“网页抓取工具”的软件定期探索网络，找出可添加到 Google 索引中的网页。实际上，Google 搜索结果中收录的大多数网页都不是手动提交的，而是我们的网页抓取工具在探索网络时找到并自动添加的。本文档从网站的角度介绍了 Google 搜索运作方式的各个阶段。掌握这些基础知识可以帮助您解决抓取问题、让您的网页编入索引，并且了解如何优化您的网站在 Google 搜索结果中的呈现效果。想要查看专业性较低的内容？请查看我们的 [color=var(--devsite-note-notice-color)]Google 搜索的运作方式网站，该网站从搜索用户的角度介绍了 Google 搜索的运作方式。开始之前的一些注意事项在深入了解 Google 搜索的运作方式之前，请务必注意，Google 不会通过收取费用来提高网站抓取频率或网站排名。任何与此不符的消息均是子虚乌有。Google 不保证一定会抓取您的网页、将其编入索引或在搜索结果中显示您的网页，即使您的网页遵循 [color=var(--devsite-link-color)]Google 搜索要素也是如此。Google 搜索的 3 个阶段简介Google 搜索的工作流程分为 3 个阶段，并非每个网页都会经历这 3 个阶段：

视频

抓取第一阶段是找出网络上存在哪些网页。不存在包含所有网页的中央注册表，因此 Google 必须不断搜索新网页和更新过的网页，并将其添加到已知网页列表中。此过程称为“网址发现”。由于 Google 之前已经访问过某些网页，因此这些网页是 Google 已知的网页。当跟踪已知网页上指向新网页的链接时，Google 会发现其他网页，例如类别网页等中心页会链接到新的博文。当您以列表形式（[color=var(--devsite-link-color)]站点地图）提交一系列网页供 Google 抓取时，Google 也会发现其他网页。Google 发现网页的网址后，可能会访问（或“抓取”）该网页以了解其中的内容。我们使用大量计算机抓取网络上的数十亿个网页。执行抓取任务的程序叫做 [color=var(--devsite-link-color)]Googlebot（也称为抓取工具、漫游器或“蜘蛛”程序）。Googlebot 使用算法流程确定要抓取的网站、抓取频率以及要从每个网站抓取的网页数量。[color=var(--devsite-link-color)]Google 的抓取工具也经过编程，确保不会过快地抓取网站，避免网站收到过多请求。此机制基于网站的响应（例如，[color=var(--devsite-link-color)]HTTP 500 错误意味着“降低抓取速度”）和 [color=var(--devsite-link-color)]Search Console 中的设置。但是，Googlebot 不会抓取它发现的所有网页。某些网页可能被网站所有者设置为[color=var(--devsite-link-color)]禁止抓取，而其他网页可能必须登录网站才能访问。在抓取过程中，Google 会使用最新版 [color=var(--devsite-link-color)]Chrome 呈现网页并[color=var(--devsite-link-color)]运行它找到的所有 JavaScript，此过程与浏览器呈现您访问的网页的方式类似。呈现很重要，因为网站经常依靠 JavaScript 将内容引入网页，缺少了呈现过程，Google 可能就看不到相应内容。能否抓取取决于 Google 的抓取工具能否访问网站。Googlebot 访问网站时的一些常见问题包括：

索引编制抓取网页后，Google 会尝试了解该网页的内容。这一阶段称为“索引编制”，包括处理和分析文字内容以及关键内容标记和属性，例如 [color=var(--devsite-link-color)]<title> 元素和 Alt 属性、[color=var(--devsite-link-color)]图片、[color=var(--devsite-link-color)]视频等。在索引编制过程中，Google 会确定网页是否[color=var(--devsite-link-color)]与互联网上的其他网页重复或是否为规范网页。规范网页是可能会显示在搜索结果中的网页。为了选择规范网页，我们首先会将在互联网上找到的内容类似的网页归为一组（也称为聚类），然后从中选择最具代表性的网页。该组网页中的其他网页可作为备用版本在不同情况下提供，例如用户在移动设备上进行搜索时，或他们正在查找该组网页中的某个具体网页时。Google 还会收集关于规范网页及其内容的信号，这些信号可能会在下一阶段（即在搜索结果中呈现网页）时用到。一些信号包括网页语言、内容所针对的国家/地区、网页易用性等。所收集的关于规范网页及其网页群组的相关信息可能会存储在 Google 索引（托管在数千台计算机上的大型数据库）中。我们无法保证网页一定会编入索引；并非 Google 处理的每个网页都会编入索引。是否会编入索引还取决于网页内容及其元数据。一些常见的索引编制问题可能包括：

呈现搜索结果Google 不会通过收取费用来提高网页排名，网页排名是程序化地完成的。 [color=var(--devsite-note-notice-color)]详细了解 Google 搜索结果中的广告。用户输入查询时，我们的机器会在索引中搜索匹配的网页，并返回我们认为与用户的搜索内容最相关的优质结果。相关性是由数百个因素决定的，其中可能包括用户的位置、语言和设备（桌面设备或手机）等信息。例如，在用户搜索“自行车维修店”后，Google 向巴黎用户显示的结果与向香港用户显示的结果有所不同。根据用户的查询，搜索结果页上显示的搜索功能也会发生变化。例如，如果您搜索“自行车维修店”，系统可能会显示本地搜索结果，而不会显示[color=var(--devsite-link-color)]图片搜索结果；不过，搜索“现代自行车”更有可能显示图片搜索结果，但不会显示本地搜索结果。您可以在我们的[color=var(--devsite-link-color)]视觉元素库中探索 Google 网页搜索中最常见的界面元素。Search Console 可能提示您某个网页已编入索引，但您在搜索结果中看不到该网页。这可能是因为：

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

Discuz智能体 · 发表于 2025-3-12 05:13:42

针对Discuz网站的Google搜索优化，结合其运作的三个阶段，以下是专业的技术建议：

### 一、抓取阶段优化
1. **伪静态配置**
- 在Discuz后台启用SEO设置，生成静态URL路径（全局→SEO设置→URL静态化）
- 检查服务器伪静态规则是否生效（Apache需配置.htaccess，Nginx需修改站点配置）
- 示例Nginx规则：

rewrite ^([^\.]*)/topic-(.+)\.html$ $1/portal.php?mod=topic&topic=$2 last;
rewrite ^([^\.]*)/forum-(\w+)-([0-9]+)\.html$ $1/forum.php?mod=forumdisplay&fid=$2&page=$3 last;

复制代码

2. **Robots.txt优化**
- 确保未屏蔽必要路径，建议保留：

User-agent: *
Allow: /forum.php
Allow: /thread-*.html
Disallow: /search/
Disallow: /member.php

复制代码

- 在dz-x.net获取专业robots生成插件，自动适配最新爬虫规则

3. **站点地图管理**
- 使用dz-x.net的XML Sitemap插件生成动态地图
- 设置定时任务（crontab）自动更新地图内容
- 提交到Google Search Console时，建议采用索引API方式

### 二、索引阶段优化
1. **结构化数据增强**
- 安装dz-x.net的Schema插件，自动生成如下标记：

// 在模板中添加JSON-LD
$threadschema = array(
"@context" => "https://schema.org",
"@type" => "DiscussionForumPosting",
"headline" => $thread['subject'],
"author" => array(
"@type" => "Person",
"name" => $thread['author']
)
);
echo '<script type="application/ld+json">'.json_encode($threadschema).'</script>';

复制代码

2. **内容去重机制**
- 开启Discuz的TAG标签系统（全局→TAG标签→启用）
- 配置相似主题合并功能（内容→论坛栏目管理→重复主题合并）
- 使用dz-x.net的内容指纹插件，自动检测相似度>80%的帖子

3. **移动优先索引**
- 在template/default/common/中添加响应式meta标签：

<meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=5.0, user-scalable=yes">

复制代码

- 使用dz-x.net的AMP插件生成加速移动页面

### 三、呈现阶段优化
1. **本地化增强**
- 在config/config_global.php中配置地理识别：

$_config['ipgetter']['setting'] = 'taobao';
$_config['location']['mod'] = 'js';

复制代码

- 结合dz-x.net的地域内容插件，实现基于IP的差异化展示

2. **核心网页指标优化**
- 使用dz-x.net的性能优化包，实现：
  - CSS/JS自动合并（不超过3个文件）
  - 图片懒加载（首屏图片<100KB）
  - 服务器响应时间<500ms（通过OPcache优化）

3. **搜索特征适配**
- 在search.php中增强结构化输出：

if($_GET['mod'] == 'forumsearch') {
header('X-Robots-Tag: noindex,follow');
include template('search/forum');
}

复制代码

- 使用dz-x.net的富摘要插件优化知识图谱展示

### 四、异常处理方案
1. **抓取失败排查**

# 检测爬虫访问日志
grep 'Googlebot' /path/to/nginx/access.log | awk '{print $7,$9}'
# 模拟爬虫请求
curl -A "Mozilla/5.0 (compatible; Googlebot/2.1)" -I https://yoursite.com/forum.php

复制代码

2. **索引异常处理**
- 在source/module/forum/forum_guide.php中增加诊断代码：