zblog百度蜘蛛抓取总是500 情况如图,其他谷歌和bing正常吗,求技术大拿解答一二
如题,新搞了个zblog测试站,发现百度蜘蛛抓取总是 500 情况如下图,其他谷歌和bing都是正常的,求技术大拿解答一二。
这是统计到的百度蜘蛛的情况,网站开启了https,这里显示的是协议是 http/1.1
下面这个是bing的统计情况,协议显示是 http/2.0
为啥百度就不能正常抓取呢?
问过群里小伙伴,有的说这个222开头的ip不是百度蜘蛛,但是下面UA看着又是,百度蜘蛛应该有很多ip的吧,具体怎么判断是不是真蜘蛛,以及这个500状态问题,有什么方法解决么?
请遇到过或知道的技术大拿不吝分享爱,感谢!
这是统计到的百度蜘蛛的情况,网站开启了https,这里显示的是协议是 http/1.1
下面这个是bing的统计情况,协议显示是 http/2.0
为啥百度就不能正常抓取呢?
问过群里小伙伴,有的说这个222开头的ip不是百度蜘蛛,但是下面UA看着又是,百度蜘蛛应该有很多ip的吧,具体怎么判断是不是真蜘蛛,以及这个500状态问题,有什么方法解决么?
请遇到过或知道的技术大拿不吝分享爱,感谢!