亚洲无人区一区二区三区_农村玉米地少妇野战亚洲_国产欧美日韩VA另类在线播放_免费人成视频网站在线_国产在线精品一区二区高清不卡

百度蜘蛛的構(gòu)建及抓取原則

作者:dengying 瀏覽:2280 發(fā)布時(shí)間:2015-06-08
編輯 分享 評(píng)論 0

  

    百度蜘蛛的構(gòu)建的原理。

  搜索引擎構(gòu)建一個(gè)調(diào)度程序,來(lái)調(diào)度百度蜘蛛的工作,讓百度蜘蛛去和服務(wù)器建立連接下載網(wǎng)頁(yè),計(jì)算的過(guò)程都是通過(guò)調(diào)度來(lái)計(jì)算的,百度蜘蛛只是負(fù)責(zé)下載網(wǎng)頁(yè),目 前的搜索引擎普遍使用廣布式多服務(wù)器多線程的百度蜘蛛來(lái)達(dá)到多線程的目的。

  百度蜘蛛的抓取規(guī)則。

  (1)通過(guò)百度蜘蛛下載回來(lái)的網(wǎng)頁(yè)放到補(bǔ)充數(shù)據(jù)區(qū),通過(guò)各種程序計(jì)算過(guò)后才放到檢索區(qū),才會(huì)形成穩(wěn)定的排名,所以說(shuō)只要下載回來(lái)的東西都可以通過(guò)指令找到,補(bǔ)充數(shù)據(jù)是不穩(wěn)定的,有可能在各種計(jì)算的過(guò)程中給k掉,檢索區(qū)的數(shù)據(jù)排名是相對(duì)比較穩(wěn)定的,百度目 前是緩存機(jī)制和補(bǔ)充數(shù)據(jù)相結(jié)合的,正在向補(bǔ)充數(shù)據(jù)轉(zhuǎn)變,這也是目 前百度收錄困難的原因,也是很多站點(diǎn)今天給k了明天又放出來(lái)的原因。

  (2)深度優(yōu)先和權(quán)重優(yōu)先,百度蜘蛛抓頁(yè)面的時(shí)候從起始站點(diǎn)(即種子站點(diǎn)指的是一些門戶站點(diǎn))是廣度優(yōu)先抓取是為了抓取更多的網(wǎng)址,深度優(yōu)先抓取的目的是為了抓取高質(zhì)量的網(wǎng)頁(yè),這個(gè)策略是由調(diào)度來(lái)計(jì)算和分配的,百度蜘蛛只負(fù)責(zé)抓取,權(quán)重優(yōu)先是指反向連接較多的頁(yè)面的優(yōu)先抓取,這也是調(diào)度的一種策略,一般情況下網(wǎng)頁(yè)抓取抓到40%是正常范圍,60%算很好,100%是不可能的,當(dāng)然抓取的越多越好。

  百度蜘蛛的工作要素。

  百度蜘蛛在從首頁(yè)登陸后抓取首頁(yè)后調(diào)度會(huì)計(jì)算其中所有的連接,返回給百度蜘蛛進(jìn)行下一步的抓取連接列表,百度蜘蛛再進(jìn)行下一步的抓取,網(wǎng)站地圖的作用是為了給百度蜘蛛提供一個(gè)抓取的方向,來(lái)左右百度蜘蛛去抓取重要頁(yè)面,如何讓百度蜘蛛知道那個(gè)頁(yè)面是重要頁(yè)面?可以通過(guò)連接的構(gòu)建來(lái)達(dá)到這個(gè)目的,越多的頁(yè)面指向該頁(yè),網(wǎng)址首頁(yè)的指向,副頁(yè)面的指向等等都能提高該頁(yè)的權(quán)重,地圖的另外一個(gè)作用是給百度蜘蛛提供更多的連接來(lái)達(dá)到抓去更多頁(yè)面的目的,地圖其實(shí)就是一個(gè)連接的列表提供給百度蜘蛛,來(lái)計(jì)算你的目錄結(jié)構(gòu),找到通過(guò)站內(nèi)連接來(lái)構(gòu)建的重要頁(yè)面。

  百度蜘蛛原理的應(yīng)用。

  補(bǔ)充數(shù)據(jù)到主檢索區(qū)的轉(zhuǎn)變:在不改變板塊結(jié)構(gòu)的情況下,增加相關(guān)連接來(lái)提高網(wǎng)頁(yè)質(zhì)量,通過(guò)增加其他頁(yè)面對(duì)該頁(yè)的反向連接來(lái)提高權(quán)重,通過(guò)外部連接增加權(quán)重。如果改變了板塊結(jié)構(gòu)將導(dǎo)致seo的重新計(jì)算,所以一定不能改變板塊結(jié)構(gòu)的情況下來(lái)操作,增加連接要注意一個(gè)連接的質(zhì)量和反向連接的數(shù)量的關(guān)系,短時(shí)間內(nèi)增加大量的反向連接將導(dǎo)致k站,連接的相關(guān)性越高,對(duì)排名越有利。


詞條統(tǒng)計(jì)

  • 瀏覽次數(shù):2280
  • 編輯次數(shù):0次歷史版本
  • 最近更新:2015-06-08
  • 創(chuàng)建者:dengying
  • 相關(guān)詞條

    相關(guān)問(wèn)答

    相關(guān)百科

    相關(guān)資訊