去评论
dz插件网

百度蜘蛛IP段详细分类,优质蜘蛛和垃圾蜘蛛

饾暦饾枎饾枒饾枏饾枂饾枅饾枑
2023/08/11 22:25:11
百度蜘蛛是指百度搜索引擎爬虫程序,它会定期访问网站并收集信息以进行索引和排名。但是,有些不良分子也可能伪装成蜘蛛来抓取网站的信息或进行其他恶意活动。了解如何识别正常的百度蜘蛛非常重要。
下面是一些常见的百度蜘蛛IP段及其分类:
优质段116.179.32.*
这是新版百度蜘蛛的高权重段,一般抓取文章页。位于山西阳泉联通。由于百度云计算阳泉中心位于世界最大中文搜索引擎百度公司创始人李彦宏的家乡山西省阳泉经济开发区东区,该段IP的权重较高。
220.181.108.*
这是百度蜘蛛的主要IP段之一,主要抓取首页占80%和内页占30%。爬过该段的文章或首页,绝对24小时内放出来和隔夜快照的。成功抓取返回代码一般为200 0 0,而返回304 0 0代表网站未更新,蜘蛛已经来过。
220.181.108.75
这是一个重点抓取更新文章内页的IP段,爬过的文章或首页基本24小时放出来。
220.181.108.77、80、82、83、86、89、91、92、93、94、95、97、115、119、156、158、180、184
这些是百度蜘蛛专用的IP段,具有不同的功能,如抓取首页、内页、tag页面等等,并且权重较高。爬过该段的文章或首页基本24小时内放出来。
普通段60.172.229.61、61.129.45.72、61.135.162.*
这些是百度蜘蛛常见的IP段之一,主要抓取网页。
123.15..
这是百度图片爬虫的IP段。
123.125.66.*
这是另一个常见的百度蜘蛛IP段,主要抓取网页。
210.72.225.*
这个IP段的蜘蛛注重巡逻各站,只是路过一下,没有实际的爬取行为。
垃圾段61.135.169.*
这是百度公司内部专用的IP段,不会进行任何的网站抓取行为。
111.206.198.、111.206.221.
这是百度渲染蜘蛛的IP段,专门抓取js、css和图片。111.206.198.*也是百度站长工具落地着陆页检测的IP。
其他
还有一些IP段是被用于百度联盟、百度竞价等其他服务的,例如61.135.186.*用于百度联盟爬虫,61.135.165.134用于百度竞价蜘蛛等等。这些IP段不会进行网站抓取行为,被归类为垃圾段。
了解百度蜘蛛的IP段及其分类非常重要,可以帮助网站管理员识别正常的百度蜘蛛和不良的恶意蜘蛛,以便保护网站的安全性和稳定性。如果发现自己的网站受到了不良蜘蛛的攻击,可以通过封禁这些IP段、设置网站防火墙等措施来保护网站。同时,也可以利用百度站长工具对百度蜘蛛进行监测和管理,确保网站被正常收录和排名。PS:转载分享