刚搬迁完服务器不要大规模更新内容且推送
对于刚搬迁完服务器的网站,个人建议不要大规模更新内容且推送。
假设,刚搬迁完的三天内,更新了1000+内容,且API推送给百度。
但是,由于DNS在全国不同位置的缓存问题,导致20%-50%的抓取可能会抓到老旧的服务器IP。
哪怕老旧的服务器所有文件依旧存在,但是新页面一般只存在于新的服务器。
所以,这会导致大量的抓取错误问题。
以上,如果有自己的解决方案最好,如果没有,那就等个几天,再大量更新和推送。
如果只更新,不推送可以吗?
可能也不行,虽然抓取的时候带回来了新的URL,并不意味着抓取这些新URL的时候,蜘蛛不会跑到旧的IP,这也意味着依然会爬取到404。
一个新页面,先有了404错误记录,过两天又能够被访问。
不知道会不会导致诡异的降权问题。
so...
睡几天大觉再更新吧。
假设,刚搬迁完的三天内,更新了1000+内容,且API推送给百度。
但是,由于DNS在全国不同位置的缓存问题,导致20%-50%的抓取可能会抓到老旧的服务器IP。
哪怕老旧的服务器所有文件依旧存在,但是新页面一般只存在于新的服务器。
所以,这会导致大量的抓取错误问题。
以上,如果有自己的解决方案最好,如果没有,那就等个几天,再大量更新和推送。
如果只更新,不推送可以吗?
可能也不行,虽然抓取的时候带回来了新的URL,并不意味着抓取这些新URL的时候,蜘蛛不会跑到旧的IP,这也意味着依然会爬取到404。
一个新页面,先有了404错误记录,过两天又能够被访问。
不知道会不会导致诡异的降权问题。
so...
睡几天大觉再更新吧。