怎么获取动态地址
论坛一些私密版块存放存放备份一些个人日常数据,工资款项、工人数据、贼眉鼠眼的隔壁老王最近动向、富婆通讯录以及邂逅可能性曲线图…………岛国雅蠛...所以要求访问权限很高,但会不会被引擎抓取到
Robots设置了禁止抓取论坛版块,如:Disallow: /forum-149-1.html
是不是动态地址也需要进行设置?由于设置了伪静态,怎么获取动态地址
我知道答案 回答被采纳将会获得5 金币 已有1人回答 既然是私密, 游客肯定不允许访问的, 不允许游客访问的页面 蜘蛛是无法抓取的……
页:
[1]