静止抓取网站目录下链接是这样写吗?大佬帮我看下
User-agent: *
Disallow: /khal
Disallow: /zxyy
Disallow: /lxfs
Disallow: /gywm
Disallow: /某个网址
目录链接跟网站某个链接后面斜杠旧不要在加了是吗
Disallow: /khal
Disallow: /zxyy
Disallow: /lxfs
Disallow: /gywm
Disallow: /某个网址
目录链接跟网站某个链接后面斜杠旧不要在加了是吗