共享蜘蛛喜欢爬行的链接。目前发现的就是tag

拾光 · 发表于 2022-8-20 13:21:23

确实蜘蛛挺爱爬tag

Crystαl · 发表于 2022-8-20 13:22:11

都是页面为什么喜欢tag 拿到url是含的有tag字母的原因？

拾光 · 发表于 2022-8-20 13:22:53

tag/xxx 这样。

Crystαl · 发表于 2022-8-20 13:23:20

百度好像不喜欢我的

拾光 · 发表于 2022-8-20 13:23:26

蜘蛛爬tag，因为通过tag页，可以更容易抓取到内容页

独家记忆 · 发表于 2022-8-20 13:24:24

额，tag我还删除了不少。。。

Crystαl · 发表于 2022-8-20 13:24:39

最近确实有容易放出tag聚合页，但和url中是否带tag无关
共享蜘蛛喜欢爬行的链接。目前发现的就是tag

浅生 · 发表于 2022-8-20 13:24:48

可以试试直接把文章页链接改成tag/xx.html，或者采集大量的内容不展现，只展现聚合页（并且将聚合页列表形式模板改为问答形式模板）给蜘蛛抓，不过我没试过，但一直有这个想法。

IT618发布 · 发表于 2022-8-20 13:25:14

tag有聚合的效果

婷姐 · 发表于 2022-8-20 13:25:52

tag已经没什么效果了

电梯直达
评论19