马上注册,免费下载更多dz插件网资源。
您需要 登录 才可以下载或查看,没有账号?立即注册
×
180.163这个IP段很奇怪,网站更新后,首页列表还没更新。他就能直接抓取更新的链接,而且网站后台也抓我分析不可能的采集的IP。因为首页列表没更新,新发布的链接,根本无法抓取,链接ID是没有规律的
应该是有些搜索引擎基于浏览器的触发抓取,你新生成的页面,你浏览器打开后,他就通知蜘蛛来抓,后台也是的,你后台更新文章生成后台的链接,触发了浏览器,通知蜘蛛来抓取
因为服务器没有入侵了,我修改了后台后,还是抓后天,这个不可能有人知道后台的,肯定的浏览器触发的
©DZ插件网所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。 网站部分内容来源于网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,得到更好的正版服务。 您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。 如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解!
|
|