去评论
dz插件网

大佬们,网站有几个页面交互特别慢,导致服务器阻塞

哥斯拉
2022/03/01 08:04:19
大佬们,网站有几个页面交互特别慢,导致服务器阻塞,我网站上已经去掉了,url是带参数的,已经在robots.txt里过滤掉了,蜘蛛还是能抓到这些页面,怎么让蜘蛛访问一下robots.txt,下次就不去爬取那些链接,需要怎么操作呢