大佬们，网站有几个页面交互特别慢，导致服务器阻塞，我网站上已经去掉了，url是带参数的，已经在robots.txt里过滤掉了，蜘蛛还是能抓到这些页面，怎么让蜘蛛访问一下robots.txt，下次就不去爬取那些链接，需要怎么操作呢