robots只抓取html行不行?
只抓取网站html行不行? 将含?的页面,模板、图片、css、js目录这些都不抓取行不行? 会不会影响网站优化的呢 有没有副作用??
Allow:*.html
Disallow: /某个目录/
Disallow: /*?*
Disallow: /*.jpg
Allow:*.html
Disallow: /某个目录/
Disallow: /*?*
Disallow: /*.jpg