如题

老域名，有建站历史，但是URL格式和以前的不一样

现在的问题是，蜘蛛一直在抓以前的内容，现在的内容怎么也不抓，robots都禁止了还是在抓……