大数据AI大模型的爬虫太多了，有价值的数据还是设置门槛吧。

各种python bot全网爬取数据，动不动把网站爬瘫痪，比采集还猛，抓取后投喂、训练ai大模型。

网站和百家号发内容，其实也是在给百度投喂数据，迟早嚼完唾弃。

真正有价值的数据还是要设置隐藏门槛，最好转私域付费阅读。

都挺难的呢，如果没门槛，对付爬虫，什么太好的办法。


最赚钱的AI爬虫是知产流氓，视觉中国和一些知产流氓公司，现在就是派出爬虫，

全网抓取图片并归档，分析出哪张图片最受欢迎，就去够买图片版权，

回头在根据归档的URL，发起起诉索赔，非常暴利。