去评论
dz插件网

网站日志蜘蛛爬行的页面,很多都不存在,是怎么回事啊

左右不逢缘
2023/12/14 15:16:06
我今天下载了网站日志看了看,大多数的蜘蛛爬行的页面,实际都不存在的,这种正常吗,我刚才写了一个robots文件,把那些目录都禁止了,这样可以吗