网站最近出现大量新的IP段的百度蜘蛛?
一直以为是假蜘蛛, nslookup查不到
59.83.208.*
220.196.160.*
180.101.244.*
特别是 220.196.160.* 最恶心,ua不光出现了 baidu ,还出现过 bing
但是最近发现这几个和
220.181.108.*
116.179.32.*
同一时间爬同一个页面。
不是百度蜘蛛那又能是啥呢
59.83.208.*
220.196.160.*
180.101.244.*
特别是 220.196.160.* 最恶心,ua不光出现了 baidu ,还出现过 bing
但是最近发现这几个和
220.181.108.*
116.179.32.*
同一时间爬同一个页面。
不是百度蜘蛛那又能是啥呢