Amazonbot蜘蛛不遵循robots协议爬的我服务器死机有办法禁么? 镖师2024/05/20 07:15:21 自己的一个小站一天只有100多IP ,可是Amazonbot,每天爬取1W多次,robots.txx已经设置Disallow了。但是还是爬的服务器运行和cpu经常都是100%,然后就是死机。目前是搭建在搬瓦工1H1G的服务器上的,实在也不想换服务器了。看了下插件几乎都是收费的而且还不低。有啥办法禁止它么。 进入原文参与互动