逝水年华 发表于 2025-4-12 17:11:55

爬虫 我都设置到403了 还一直抓取

136.243.228.193 - - ＂GET /item/id/w5j5yzxCgtDpk0q7JYSBVRCbtd-oKKGxrpMSB86Adw8oI4X.html HTTP/1.1＂ 403 627 ＂-＂ ＂Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)＂136.243.228.193 - - ＂GET /item/id/mVBVAn4SktJxKqewAaiAjRiot3-266YdX4RiM3RARBYNSZ.html HTTP/1.1＂ 403 626 ＂-＂ ＂Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)＂136.243.228.193 - - ＂GET /item/id/Pg6gPNxI3t6xMAX358SDbDHPt6-RggryxqWIVe3OdDw8u6K.html HTTP/1.1＂ 403 627 ＂-＂ ＂Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)＂85.208.96.211 - - ＂GET /item/id/yY26XJrHRt2MbjwNebs5dxIvtA-D33Yw0eoCPqNyK7q8h65.html HTTP/1.1＂ 403 627 ＂-＂ ＂Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)＂136.243.228.193 - - ＂GET /item/id/0owoJRot7t8VJr6A7Du5Gjc2t6-YJJQBMVATBe2JAnyMCRA.html HTTP/1.1＂ 403 627 ＂-＂ ＂Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)＂


这样占用不占用我服务器的资源啊。

拾光 发表于 2025-4-12 17:12:44

占用，我cpu老给他们干到100. 封了好多爬虫

Crystαl 发表于 2025-4-12 17:13:42

像这样的，直接封特征啊 dataforseo-bot

IT618发布 发表于 2025-4-12 17:14:40

我都是直接用CF把没用的机器人一律屏蔽掉

独家记忆 发表于 2025-4-12 17:15:35

已列入屏蔽账单。

独家记忆 发表于 2025-4-12 17:16:30

列入屏蔽就可以了

Crystαl 发表于 2025-4-12 17:16:51

怎么屏蔽啊

Crystαl 发表于 2025-4-12 17:17:50

看教程 https://www.wenyunfang.com/zazhi/zhongwangjiaocheng/1273.html

婷姐 发表于 2025-4-12 17:18:01

怎么屏蔽   根目录robots.txt不管用
页: [1]
查看完整版本: 爬虫 我都设置到403了 还一直抓取