关于爬虫问题,大佬有教的吗?
百度经常抓
xxxx.cn/?1
而不是抓这种。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用户名”.html
怎么办哦。。 这样无所谓?还是??
我没有屏蔽加这个 Disallow: /space-*
新站。。
xxxx.cn/?1
而不是抓这种。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用户名”.html
怎么办哦。。 这样无所谓?还是??
我没有屏蔽加这个 Disallow: /space-*
新站。。