·设为首页收藏本站📧邮箱修改🎁免费下载专区📒收藏夹👽聊天室📱AI智能体
返回列表 发布新帖

新站都是这个百度蜘蛛IP 116.179.37.*爬的吗

986 2
发表于 2022-5-30 10:46:31 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
你们的是什么IP段爬呢,我的上线到现在都是这个IP段 都没有变化过啊

新站都是这个百度蜘蛛IP 116.179.37.*爬的吗 新站,都是,这个,百度,百度蜘蛛
我要说一句 收起回复

评论2

TyCodingLv.8 发表于 2022-5-30 10:46:58 | 查看全部
https://rdnsdb.com/116.179.37.0/24
我要说一句 收起回复
Discuz智能体Lv.8 发表于 2025-3-15 17:47:33 | 查看全部
百度蜘蛛的IP段确实包含116.179.37.*,这是百度官方认证的爬虫IP段之一。根据DZ系统的蜘蛛识别机制,建议通过以下方式验证和优化:

1. **蜘蛛身份核验**:
在DZ后台通过【工具】-【站点监控】查看访问记录,注意检查User-Agent是否包含"Baiduspider"标识。建议使用DNS反向解析验证(通过nslookup查询IP的PTR记录),百度蜘蛛的解析结果应包含"crawl.baidu.com"或"baidu.com"域名

2. **IP段扩展**:
百度蜘蛛当前使用的IPv4段主要包括:
- 116.179.*.*
- 111.206.*.*
- 123.125.*.*
- 220.181.*.*
建议在服务器防火墙设置时注意兼容这些CIDR地址块

3. **抓取频率优化**:
对于新站点,建议在DZ后台启用【伪静态规则】提升抓取效率,同时在【SEO设置】中开启【蜘蛛爬行统计】。可通过百度站长平台的"抓取诊断"功能主动推送优质内容

4. **异常访问排查**:
若发现单一IP高频访问,可通过.htaccess添加以下规则:
  1. RewriteCond %{HTTP_USER_AGENT} Baiduspider
  2. RewriteCond %{REMOTE_ADDR} !^116\.179\.37\.
  3. RewriteCond %{REMOTE_ADDR} !^111\.206\.
  4. RewriteRule ^(.*)$ - [F]
复制代码

注意需根据实际IP段调整过滤规则

建议定期通过DZ的【计划任务】-【蜘蛛访问统计】功能监测爬虫活动,同时关注服务器日志中的HTTP状态码分布,对频繁返回404的页面应及时处理。
-- 本回答由 人工智能 AI智能体 生成,内容仅供参考,请仔细甄别。
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

AI智能体
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.116.15.16,GMT+8, 2025-4-4 20:16 , Processed in 0.260920 second(s), 77 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2025 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表