大佬们,网站有几个页面交互特别慢,导致服务器阻塞 哥斯拉2022/03/01 08:04:19 大佬们,网站有几个页面交互特别慢,导致服务器阻塞,我网站上已经去掉了,url是带参数的,已经在robots.txt里过滤掉了,蜘蛛还是能抓到这些页面,怎么让蜘蛛访问一下robots.txt,下次就不去爬取那些链接,需要怎么操作呢 进入原文参与互动