天天都有人高喊采集,大力出奇迹……另一波人,寻求如何防采集……
如此矛盾的关系,难道没有一个折中的办法么?
然后,各种软件,各种服务就成了香饽饽了……
其实,在我看来,如果采集软件……能轮流采集各个指定的网站,别一下子,耗费光对方服务器资源,还是可以被理解的,必定,互联网本身就存在互操……这种事不可避免的……
是不是采集软件,加一个扒采时间限制,然后轮番采的功能,这样就可以有效避免长时间踩同一个站点,也可以有效避免批量雷同的收录页面……
仅仅是个参考意见……具体有没有价值,还需要懂行的人分析总结
然后,各种软件,各种服务就成了香饽饽了……
其实,在我看来,如果采集软件……能轮流采集各个指定的网站,别一下子,耗费光对方服务器资源,还是可以被理解的,必定,互联网本身就存在互操……这种事不可避免的……
是不是采集软件,加一个扒采时间限制,然后轮番采的功能,这样就可以有效避免长时间踩同一个站点,也可以有效避免批量雷同的收录页面……
仅仅是个参考意见……具体有没有价值,还需要懂行的人分析总结