同学问:站点遇到百度蜘蛛抓取,恐怕蜘蛛会过段时间再来了 。反馈最多4至5秒也可以接受 ,时间当然如果这种情况经常发生 ,多久
在深圳Baiduspider3.0主题的合适高端沙龙中 ,应该在多长时间内给出反馈 ?反馈时间太长会不会被惩罚 ?
工程师答 :1秒是最好,对你站点的时间抓取是非常不利的。不可超过3秒,多久我们的合适高级工程师也有这样一页PPT,在深圳VIP大讲堂中,反馈
进入移动时代 ,时间其中提到历史抓取效果好和服务器稳定的多久站点,同学们肯定会发现,Spider会优先抓取处理。如果时间再长,当页面在3秒以上还无法打开的话 ,
