亚洲无人区一区二区三区_农村玉米地少妇野战亚洲_国产欧美日韩VA另类在线播放_免费人成视频网站在线_国产在线精品一区二区高清不卡

淺談所謂的提權蜘蛛和降權蜘蛛

作者:數(shù)風流人物 瀏覽:145 發(fā)布時間:2017-05-25
分享 評論 0

之前在SEO深度解析中有看到過降權蜘蛛和提權蜘蛛,即如果抓取你網站的蜘蛛IP是降權蜘蛛的IP,那你的網站就是被降權了;反之,抓取你網站的蜘蛛IP為提權蜘蛛的IP,那你的網站權重較高。

該書作者痞子瑞對此問題也表示不能肯定,然而百度LEE團隊官方曾經在百度站長平臺公開回答過該問題,并明確的否認了。當然,百度還不承認有百度權重,然而確實有,呵呵。

官方的答復不可不信,也不可全信。今天又看《走進搜索引擎》,發(fā)現(xiàn)可能真的有所謂的提權蜘蛛和降權蜘蛛。

搜索引擎工作過程中,在抓取環(huán)節(jié),有一個重要性網頁優(yōu)先抓取的策略,其實很好理解,搜索引擎需要抓取的新網頁和每天重訪的網頁規(guī)模都是巨大的,為保證更重要的網頁能夠優(yōu)先抓取,使得在時效性和權威性上獲得滿意的效果,就需要對重要性網頁進行優(yōu)先抓取。(這不就是百度權重高的網站嗎?)

同時,在抓取環(huán)節(jié),還有一個抓取提速策略,通過增加同時工作的爬蟲(即蜘蛛)數(shù)量。在多個蜘蛛抓取的情況下,需要按照域名來分解任務,使特定的爬蟲抓取特定的域名下的網頁。

在域名分配的同時,要保證每個蜘蛛的工作量相等;如默認正常網站的規(guī)模為普通水準,抓取工作量一般;而重要性高的網站,通常其網站規(guī)模龐大,內容豐富,抓取工作量較大;但是網站被降權的網站通常使用大量垃圾內容作弊來獲取排名,其網站規(guī)??隙ㄒ草^大,抓取工作量也較大。

假設:1*重要性網站=2*普通網站=1*作弊網站,那么蜘蛛抓取工作量體系結構類似于:

spider1抓取重要性高的域名A

spider2抓取普通網站B和C

spider3抓取作弊網站的域名D

則spider1為提權蜘蛛,spider3為降權蜘蛛。

因為蜘蛛不光要抓取,還要返回抓取的網頁結果和新的URL,而URL的重要度會影響URL的抓取優(yōu)先度,所以高權重網站上的URL是不能和普通網站、作弊網站上的URL放在一起的,因此為提高蜘蛛的工作效率,同一個蜘蛛肯定不會同時抓取不同重要度的網站。

至于考核蜘蛛(即沙盒蜘蛛)、劣質文章蜘蛛等什么亂七八糟的蜘蛛,應該是不存在的。

谷歌的沙盒期是會對新網站正常抓取,只是不會放出或者不會給予好的排名罷了,不關人家蜘蛛的事情。

至于劣質文章蜘蛛,蜘蛛是按照域名來劃分工作,那可能就是降權了,要不就是想多了。

對了,如果百度真的存在提權蜘蛛和降權蜘蛛的話,谷歌應該也有,畢竟搜索引擎工作原理是一樣的。