蜘蛛
作者：聚擎
瀏覽：963次
發(fā)布時間：2017-06-13
編輯
分享
評論
贊0
蜘蛛（百度的是：baiduspider 谷歌的是:googbot）又稱為爬蟲，只是叫法不一樣?？衫斫鉃椋核阉饕娴囊粋€程序。搜索引擎程序(以下稱為“蜘蛛”)它到了你的網(wǎng)站，去到爬行，然后把結(jié)果反饋給搜索引擎服務(wù)器。蜘蛛在爬行網(wǎng)站的時候，最先檢測網(wǎng)站根目錄下的robots.txt文件，因為蜘蛛都會遵循這個原則，蜘蛛會檢測你robots下的文檔里有哪些東西允許抓取，有哪一些不允許抓取。如果你的網(wǎng)站有哪些不讓蜘蛛抓取，可以在robots里寫出。通常，只要在robots文檔里，一個星期左右的時間才會生效。
百度蜘蛛
蜘蛛根據(jù)網(wǎng)站robots文件允許收錄的網(wǎng)站，根據(jù)網(wǎng)站的鏈接開始爬行，蜘蛛會一沿著一個接一個往下爬，為避免程序問題，通常蜘蛛抓取的深度為5層以上。在做網(wǎng)站優(yōu)化過程中，蜘蛛一直沿著鏈接抓取。以前強調(diào)錨文本的重要性，在這里可以發(fā)揮出它的效果，每抓取一次，就給下我們網(wǎng)站的權(quán)重
蜘蛛為了重復(fù)抓取網(wǎng)址，它會生成一個地址庫，記錄地址庫服務(wù)中，記錄還沒抓取的頁面，以及過濾敏感關(guān)鍵詞頁面
蜘蛛根據(jù)抓取的內(nèi)容，做分詞處理，按照算法對文章進行索引編號，存在自己的服務(wù)器上，用戶進行搜索的時候，按照一樣的規(guī)則顯示出來 。
吸引蜘蛛，根據(jù)我的經(jīng)驗，只要網(wǎng)站的外鏈資源夠多（注：高質(zhì)量外鏈），留的入口夠多，那么蜘蛛來網(wǎng)站抓取的次數(shù)就越多。
猜你喜歡