搜索不遵守规则怎么办
弄了一个备份站点不对外开放,放损友们的游戏截图游戏宏备份等,游戏友们内部使用(当然没有学习日语的视频,都是一群不正经的正经人)
并且在论坛根目录下的
robots.txt 规则只有两行禁止所有搜索引擎抓取,可谷歌蜘蛛还是时常来,是规则有问题么?
并且在论坛根目录下的
robots.txt 规则只有两行
- ## robots.txt for Discuz! X3#User-agent: *Disallow:/