亚洲无人区一区二区三区_农村玉米地少妇野战亚洲_国产欧美日韩VA另类在线播放_免费人成视频网站在线_国产在线精品一区二区高清不卡

    怎樣屏蔽蜘蛛的抓取，我們常用的辦法有兩個(gè)，一個(gè)是編輯robots.txt文件，另外一個(gè)是在不想被收錄的頁(yè)面頭部放置META NAME="ROBOTS"標(biāo)簽。

　　所謂的robots.txt文件，是每一個(gè)搜索引擎到你的網(wǎng)站之后要尋找和訪問(wèn)的第一個(gè)文件，robots.txt是你對(duì)搜索引擎制定的一個(gè)如何索引你的網(wǎng)站的規(guī)則。通過(guò)這個(gè)文件，搜索引擎就可以知道在你的網(wǎng)站中，哪些文件是可以被索引的，哪些文件是被拒絕索引的。

　　絕大多數(shù)站長(zhǎng)都知道，網(wǎng)站能夠在搜索引擎里獲得很好的排名是非常重要的，于是很多站長(zhǎng)竭盡討好搜索引擎之能事，恨不得把搜索引擎的蜘蛛當(dāng)成皇上來(lái)看待，希望能夠獲得蜘蛛的賞識(shí)，從而提升網(wǎng)站的排名，可是事實(shí)上，即使把蜘蛛伺候好了，也不能夠獲得很好的排名，這是為什么呢?因?yàn)橹┲氩](méi)有人類的情感，即時(shí)你把它當(dāng)成皇上他也對(duì)你毫無(wú)憐憫，該怎樣就怎樣，所以在網(wǎng)站優(yōu)化方面，并不是對(duì)蜘蛛越好優(yōu)化效果就越好，而是要懂得取舍!要學(xué)會(huì)屏蔽一些蜘蛛的技巧!比如除了限制蜘蛛在ADMIN和DATA上的爬行，還可以在其他的目錄上適當(dāng)?shù)钠帘沃┲?，也是非常有好處的，下面就?lái)分析幾種屏蔽蜘蛛的技巧!

　　一：圖片和模板目錄都可以進(jìn)行屏蔽

　　因?yàn)槟壳昂芏嗾鹃L(zhǎng)都是在互聯(lián)網(wǎng)上找相同的圖片和套用現(xiàn)成的模板，這些模板和圖片已經(jīng)在互聯(lián)網(wǎng)泛濫了，此時(shí)你還讓你的網(wǎng)站被蜘蛛再次爬行這些老掉牙的東西，自然會(huì)讓蜘蛛非常的反感，從而讓你的網(wǎng)站貼上模仿作弊的標(biāo)簽，想要獲得搜索引擎的青睞反而是更加困難，所以IMAGES目錄通?？梢云帘?

　　二：緩存目錄可以屏蔽，防止重復(fù)索引

　　蜘蛛是非常貪婪的，只要你給他喂食，它是不管真實(shí)還是虛幻都照單全收，比如網(wǎng)站的緩存目錄里面的內(nèi)容，蜘蛛也會(huì)照樣來(lái)進(jìn)行索引，這勢(shì)必和網(wǎng)站里面的內(nèi)容出現(xiàn)了重復(fù)，如果出現(xiàn)重復(fù)的數(shù)量過(guò)多，那么百度的算法機(jī)制就會(huì)認(rèn)為你的網(wǎng)站在作弊，從而甚至提升你網(wǎng)站的權(quán)重，給網(wǎng)站帶來(lái)極大的影響，通常每種建站程序的緩存目錄是不一樣的，要根據(jù)不同的建站程序來(lái)屏蔽相應(yīng)的緩存目錄是很有必要的!

　　三：CSS目錄及部分RSS頁(yè)需要屏蔽

　　CSS目錄對(duì)于蜘蛛而言是完全無(wú)用的，抓取后反而會(huì)影響搜索引擎算法的判斷，所以可以通過(guò)ROBOTS.TXT文件來(lái)進(jìn)行屏蔽，另外很多建站程序的RSS頁(yè)也是一種內(nèi)容的重復(fù)，抓取后也會(huì)造成搜索引擎的誤判斷，這兩個(gè)方面的內(nèi)容都需要屏蔽!這種屏蔽看起來(lái)是對(duì)蜘蛛的大不敬，實(shí)際上卻如良藥苦口利于病!忠言逆耳利于行!

　　四：如果有雙頁(yè)面，那么優(yōu)先屏蔽動(dòng)態(tài)頁(yè)面

　　一般而言，網(wǎng)站的靜態(tài)頁(yè)面是很容易被搜索引擎收錄，通常蜘蛛抓取和收錄是兩回事，網(wǎng)站除了靜態(tài)頁(yè)面之外，大部分網(wǎng)站還存在著動(dòng)態(tài)的頁(yè)面，比如“www.XXXX/1.html這兩個(gè)指的是同一個(gè)頁(yè)面，如果不進(jìn)行屏蔽的話，勢(shì)必造成兩個(gè)頁(yè)面同時(shí)被蜘蛛抓取，可是到了搜索引擎算法判斷的時(shí)候，因?yàn)榘l(fā)現(xiàn)了兩個(gè)一樣的頁(yè)面，就會(huì)認(rèn)為你網(wǎng)站存在作弊的嫌疑，所以加大對(duì)你網(wǎng)站的考察力度，從而影響到網(wǎng)站的排名，所以正確的做法是優(yōu)先屏蔽網(wǎng)站的動(dòng)態(tài)頁(yè)面!

　　五：服務(wù)器屏蔽

　　許多空間商為了減少服務(wù)器負(fù)擔(dān)，故意屏蔽蜘蛛抓取，導(dǎo)致網(wǎng)站無(wú)法被搜索引擎收錄，在這里我們也可以設(shè)置利用服務(wù)器屏蔽搜索器的抓取。主要原理是分析網(wǎng)站日志，找到搜索引擎抓取的IP，然后對(duì)其IP進(jìn)行屏蔽。但是這種方法并不是很實(shí)用，畢竟不能屏蔽單頁(yè)面和修改都不是很靈活。具體方法需要參考服務(wù)器設(shè)置。