- <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">:可以抓取本页,而且可以顺着本页继续索引别的链接<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">:不许抓取本页,但是可以顺着本页抓取索引别的链接<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">:可以抓取本页,但是不许顺着本页抓取索引别的链接<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">:不许抓取本页,也不许顺着本页抓取索引别的链接。这里需要注意的是,不要把两个对立的反义词写到一起,例如<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">此外对于多命令,这里有一个简便的写法,如果是 <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">的形式的话,可以写成:<META NAME="ROBOTS" CONTENT="ALL">如果是 <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">的形式的话,可以写成:<META NAME="ROBOTS" CONTENT="NONE">如果是对于单独的某个搜索引擎不允许建立快照,例如谷歌,我们就可以写成:<META NAME="Googlebot" CONTENT="INDEX,FOLLOW,noarchive">如果在元标记中不屑关于蜘蛛的命令,那么默认的命令即为如下<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW, archive">
复制代码 |