反制爬虫的小方法
单独弄一个栏目,里面发布一些违规文章.
当有访问者的时候,首先判断是不是搜索引擎的蜘蛛
=======================
如果不是蜘蛛,就在文章页尾,随机生成几条违规文章的链接.
这些链接设置display:none属性,
真实用户访问网站的时候,是看不到这种违规文章的.
但是抄袭者在爬取的时候,这些文章就被他抄走了.
=============================
如果访问者是搜索引擎的蜘蛛,则不要生成随机链接.这样就好了.
当有访问者的时候,首先判断是不是搜索引擎的蜘蛛
=======================
如果不是蜘蛛,就在文章页尾,随机生成几条违规文章的链接.
这些链接设置display:none属性,
真实用户访问网站的时候,是看不到这种违规文章的.
但是抄袭者在爬取的时候,这些文章就被他抄走了.
=============================
如果访问者是搜索引擎的蜘蛛,则不要生成随机链接.这样就好了.