镖师 发表于 2025-4-10 21:13:39

屏蔽爬虫能通过 robots.txt 里设置吗

通过 robots.txt：


User-agent: 爬虫名字
Disallow: /


比如
这样可以吗

浅生 发表于 2025-4-10 21:14:22

可以啊。。。
页: [1]
查看完整版本: 屏蔽爬虫能通过 robots.txt 里设置吗