【求助】百度抓取问题

xiao9469 · 发表于 2023-9-22 14:19:38

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

网站只有2个目录A目录和B目录，这个时候生成了一个页面，给他的id是111，并且分配到A目录，这个时候https:/XXXX/A/111.html打开是正常的，百度蜘蛛过来抓取也是正常的；但是百度蜘蛛也顺道自己抓取了一个https:/XXXX/B/111.html，因为这个页面的id只分配到了A目录，百度蜘蛛如果抓取到B目录，B目录是没有这个id的，势必会导致百度蜘蛛过来抓取的B目录的111.html是404
如果再在A目录产生了一个页面id是222
百度蜘蛛会抓取https:/XXXX/A/222.html还有https:/XXXX/B/222.html（因为B目录没有id222,所以这个页面百度蜘蛛过来抓取是404）
类推就是产生了10个页面，蜘蛛会抓取20次，A目录抓取10次，B目录抓取10次，但是在B目录的都是抓取的404.
这种有没有大佬可以解决的啊！

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
网站部分内容来源于网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！