网络蜘蛛：双称为网页蜘蛛，网络机器人，网络爬虫，网页追逐者。是一种按照一定的规则，自动抓取万维网信息的程序或者脚本。
　　搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和抓取速度，都使用了多个蜘蛛并发分布式爬行。
　　蜘蛛访问任何一个网站时，都会先访问网站根目录下的ROBOTS.TXT文件。如ROBOTS.TXT文件禁止搜索引擎抓取某些文件或文字目录，蜘蛛将遵守协议，不抓取被禁止的网址。
　　如果有效果的吸引蜘蛛，虽然理论上蜘蛛能爬行抓取所有的页面，但实际上不能、也不会这么做。SEO人员要想让自己的更多页面补收录，就要想方设计吸引蜘蛛来抓取。既然不能抓取所有页面，蜘蛛所要做的就是尽量抓取重要页面。
　　网站和页面权重。质量高、资格老的网站被认为权重比较高，这种网站上的页面被爬行的尝试也会比较高，所以会有更多内页被收录。