去评论
dz插件网

搜狗爬虫为啥只访问网站本身没有的内容呢?

婷姐
2024/07/16 20:26:03
新站一个月了,其他搜索引擎都收录了唯独还有搜狗没有收录,搜狗的爬虫也来的比较勤快,但都是访问一些网站本身就没有的内容。

图1为爬虫记录

图2为404页面