亚洲无人区一区二区三区_农村玉米地少妇野战亚洲_国产欧美日韩VA另类在线播放_免费人成视频网站在线_国产在线精品一区二区高清不卡

昵稱：月光邊境

接單：599   關(guān)注TA

達標率 0%

Google爬行緩存代理（crawl caching proxy）

作者：月光邊境 瀏覽：99次 發(fā)布時間：2017-06-07
分享 評論 贊0

前兩天人們注意到Google Adsense蜘蛛所抓取的網(wǎng)頁會出現(xiàn)在搜索結(jié)果中。Matt Cutts在他的博客里迅速的做出了回應(yīng)，對這種現(xiàn)象做了進一步解釋。

　　簡單來說，Google在完成大爸爸數(shù)據(jù)中心升級后，各種蜘蛛抓取網(wǎng)頁的機制產(chǎn)生了變化。不是各個蜘蛛直接抓取網(wǎng)頁，而是由一個爬行緩存代理crawl caching proxy抓取網(wǎng)頁，然后不同的蜘蛛從這個緩存中獲取內(nèi)容，從而節(jié)省了帶寬。

　　Matt Cutts的帖子比較完整的翻譯可以在幻滅和小添的博客里看到。

　　我要補充的是：第一：Matt Cutts特意指出，這個新的抓取機制不會讓你的網(wǎng)頁被抓取的更快，也不會對排名有任何影響。這個爬行緩存代理也不影響各個蜘蛛本來應(yīng)該爬行的頻率和時間表。只不過各個蜘蛛不直接爬行網(wǎng)頁，而是從緩存中獲取。

　　第二：更引起我注意的是，Matt Cutts說這個爬行緩存代理是大爸爸更新之后才有的。因為運行的很順利，在其他人發(fā)現(xiàn)這種現(xiàn)象之前，Matt Cutts自己沒意識到這種新的機制已經(jīng)運行了。這說明Matt Cutts并不能掌握所有各個部門的最新情況，那么還有什么是Matt Cutts也還不知道的呢？

　　第三：Matt Cutts講這個機制的目標是節(jié)省帶寬，而不是隱藏頁面（cloaked page）檢測。我覺得弦外之音是，利用同樣的技術(shù)，Google完全可以用其他的蜘蛛來檢測隱藏頁面。當然也可能是我過度敏感了。

　　另外，最近很多網(wǎng)站出現(xiàn)被收錄的頁面數(shù)目急劇下降的現(xiàn)象，我懷疑和這個新的頁面抓取方法造成的混亂有關(guān)。很顯然不是排名算法改變導(dǎo)致收錄的網(wǎng)頁數(shù)目下降，而是蜘蛛爬行的問題。