·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
返回列表 发布新帖

【紧急】禁止国内搜索引擎访问自己网站,防止AI窃取你的劳动成果 New

170 1
发表于 2024-7-30 16:41:00 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
这年头,openAI人工智能的兴起,什么GPTBot、百度文心一言、Kimi、阿里云天工AI、豆包、清华大学智谱清言、讯飞星火、腾讯混元....
他们都在训练大模型,投喂给这些人工智能人类的知识,这些知识哪里来?
通过爬虫,没事来你的网站,收集你的数据,却不收录你网站,更别提给流量了!
原本属于你的流量都给别人了!
只有那些谷歌搜索、必应搜索等国外搜索,公正些!
国内,还是建议用户采用 “必应”

只允许谷歌搜索、必应搜索爬虫的robots
  1. User-Agent: GooglebotAllow: /Disallow: User-Agent: bingbotAllow: /Disallow: User-Agent: *Disallow: /自定义区
复制代码


DZ论坛能用的robots


知乎的robots文件分析解读:
腾讯、搜狗、百度对知乎都有投资,所以,只保留了百度、搜狗。
北京智者天下科技有限公司为什么这样做?还不是怕AI,保护自己的利益!
中小微企业、个人站长该怎么办?
学知乎,把所有搜索引擎都屏蔽了,只保留给流量的搜索引擎。
建议只保留必应,Google,剩下的搜索引擎不公正,捧他们也没啥用。
3和Q大战,说明什么?
国内都是明着、暗里斗争的!
有没有觉得,你是暗里斗争的牺牲品?
明着意思是打着收录优秀网站的幌子,其实就是间接打压其他人。
不收录,能省搜索引擎的服务器资源,还有巨大的利益,把流量都引导自己家的网站,什么知道、什么百科、什么贴吧等,
看看谷歌作为搜索一哥,从不搞这些花花肠子,把自家服务置顶,更是没有谷歌知道、谷歌百科等侵犯站长利益的网站。
必应搜索也是,为什么他们都那么公正,是因为国外反竞争法很严格。
国内没指望了,那些3、百等公司都是跟上面有合作的,兼职红客, 负责防御工作,要不怎么跟美国斗网络?
缺人才,滴哄着来,狠了,就跑美国了!

以下是知乎的robots文件:
  1. User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Sogou web spiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /tardis/sogou/Disallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
复制代码
淘宝更加严格,直接屏蔽了所有搜索引擎。现
在是前后端分离,爬虫根本无法爬内容,只能爬到标题。

国内搜索引擎再有市场,不给你流量也白扯!
有奶才是娘,我反正只留下了谷歌、必应。
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论1

CrystαlLv.8 发表于 2024-7-30 16:41:47 | 查看全部
实在是坑啊
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:3.15.3.17,GMT+8, 2024-12-23 09:49 , Processed in 0.215621 second(s), 84 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表