如何巧妙避開蜘蛛陷阱




網(wǎng)站的設(shè)計方面的技術(shù),搜索引擎很不喜歡,對蜘蛛爬行和抓取很不利,這就是蜘蛛陷阱,主要包括以下幾點:
1、Flash
有的網(wǎng)站頁面使用Flash視覺效果是很正常的,好比用Flash做的Logo、廣告、圖表等,這些對搜索引擎抓取和收錄是沒有題目的,良多網(wǎng)站的首頁是
一個大的Flash文件,這種就叫蜘蛛陷阱,在蜘蛛抓取時HTML代碼中只是一個鏈接,并沒有文字固然大的Flash效果看上去很好,外觀看著也很漂亮,
但可惜搜素引擎看不到,無法讀取任何內(nèi)容所認(rèn)為了能體現(xiàn)網(wǎng)站優(yōu)化的最好效果,不提倡這種Flash做首頁圖片。
2、各種跳轉(zhuǎn) 對搜素引擎來說只對301跳轉(zhuǎn)相對來說比較友好,對其他形式的跳轉(zhuǎn)都是比較敏感,例如:Java Scrit跳轉(zhuǎn)、Meta
Refresh跳轉(zhuǎn)、Flash跳轉(zhuǎn)、302跳轉(zhuǎn)。
有些網(wǎng)站的做法很讓人無奈,當(dāng)你打開網(wǎng)頁后悔自動轉(zhuǎn)向其他頁面,就算打開的頁面和你要找的頁面主體先關(guān)也算過得去。但是很大部門的網(wǎng)站轉(zhuǎn)向讓你無任何理由
和目的這種轉(zhuǎn)向不推薦大家使用,假如你非要做轉(zhuǎn)向,只推薦用301永久跳轉(zhuǎn),可以將權(quán)重進(jìn)行傳遞,除了此轉(zhuǎn)向其他都不推薦,由于良多的占用其他轉(zhuǎn)向欺騙用
戶和搜索引擎,也是heimao的一種手段,所以建議大家不要使用,以免網(wǎng)站被K。 3、框架結(jié)構(gòu) 首先各位站長你知道什么叫框架結(jié)構(gòu)的世界嗎?假如你不知道恭喜你,這個蜘蛛陷阱你已經(jīng)躲避了,也不要去了解,所以有關(guān)框架結(jié)構(gòu)的設(shè)計給予做任何的先容。
4、動態(tài)URL 什么叫動態(tài)URL、什么叫靜態(tài)URL,簡樸的說就是帶有問號、等號及參數(shù)的網(wǎng)址就是動態(tài)URL,動態(tài)URL不利于搜索引擎蜘蛛的爬行和抓取。
5、登陸要求 有些企業(yè)站和個人站的設(shè)置一定要注冊登陸后才能看到相關(guān)的文章內(nèi)容,這種隊蜘蛛不是很友好,蜘蛛不會注冊、也不會登陸。
6、強(qiáng)制用Cookies 部門站長為了讓用戶記住登陸信息,強(qiáng)迫用戶使用Cookies假如為開啟,則無法進(jìn)行訪問,訪問頁面顯示的也不會正常,這種方式會讓蜘蛛無法進(jìn)行訪問。