网站日志蜘蛛爬行的页面,很多都不存在,是怎么回事啊 左右不逢缘2023/12/14 15:16:06 我今天下载了网站日志看了看,大多数的蜘蛛爬行的页面,实际都不存在的,这种正常吗,我刚才写了一个robots文件,把那些目录都禁止了,这样可以吗 进入原文参与互动