动态网站用了伪静态,需要屏蔽蜘蛛对动态链接的抓取吗
动态网站用了伪静态,需要robots.txt屏蔽蜘蛛对动态链接的抓取吗
网站是动态的,自己搞了伪静态,最近看蜘蛛在爬动态链接,
比如:动态页面:http://www.xxxxxxxxxxx.com/news/article.php?id=1
伪静态页面:http://www.xxxxxxxxxxx.com/news/article_1.html
这同一个页面 动静态同时显示着 会影响蜘蛛判断哪个才是它该抓取的吗? 对收录有影响吗
网站是动态的,自己搞了伪静态,最近看蜘蛛在爬动态链接,
比如:动态页面:http://www.xxxxxxxxxxx.com/news/article.php?id=1
伪静态页面:http://www.xxxxxxxxxxx.com/news/article_1.html
这同一个页面 动静态同时显示着 会影响蜘蛛判断哪个才是它该抓取的吗? 对收录有影响吗