各类机器人爬虫：
谷歌先爬Robots文件。
必应先爬认证权限，后按地图文件爬取。
百度按兵不动，或优质URL。
360 死全家，不爬。
搜狗 随机喜欢URL，如果外链质量好，发什么爬什么。