🏠首页 › 站长杂谈 › Ai爬虫不讲武德啊，禁止了都爬

左右不逢缘 发表于 前天 14:22

Ai爬虫不讲武德啊，禁止了都爬

如题

现在的AI爬虫太多了

服务器一半的资源都被爬虫占了

关键AI还不讲武德

禁止都禁不了

。。。

独家记忆 发表于 前天 14:23

直接禁前两段IP

TyCoding 发表于 前天 14:23

你看看国外的网站，都是先验证人工才能访问的，禁爬都是小事

拾光 发表于 前天 14:23

12月份，大量不重复的ip爬网站，一个ip一天只爬四五次二十来个页，网站都崩了，怎么办。

独家记忆 发表于 前天 14:24

我也一样，技术直接强制禁止爬取了

Crystαl 发表于 前天 14:24

现在没几个遵守的

拾光 发表于 前天 14:24

有条件的话，建议加个防御。
可有效防护DDoS，CC，Web应用攻击，恶意刷流量，恶意爬虫等危害网站的行为，保障平台稳定运营。
传统高防，在拦截攻击的同时，还会误杀正常用户，我们防护是根据用户请求逻辑配合强大的攻击特征库精准防御，0误杀用户。可根据不同攻击，不同平台，定制型防护模块，防不住不收任何费用，可测试防御效果。

拾光 发表于 前天 14:25

侵犯你的空间了

查看完整版本: Ai爬虫不讲武德啊，禁止了都爬