亚洲无人区一区二区三区_农村玉米地少妇野战亚洲_国产欧美日韩VA另类在线播放_免费人成视频网站在线_国产在线精品一区二区高清不卡

　網(wǎng)站建設(shè)初始技術(shù)即網(wǎng)站在建立階段，就必須全盤綜合考慮的技術(shù)細(xì)節(jié)，因為后續(xù)在網(wǎng)站運營過程中再進(jìn)行調(diào)整，會牽涉太多方面，甚至無法執(zhí)行。

　　1.網(wǎng)站站點地圖(Sitemap)的設(shè)置和技術(shù)細(xì)節(jié)

　　Sitemap是一種通知機(jī)制，就是通過創(chuàng)建一個文件的方式，把網(wǎng)站網(wǎng)頁的URL提交給搜索引擎，在Sitemap中定義好頁面的URL地址、權(quán)重、更新頻率等。通過把Sitemap提交給搜索引擎，搜索引擎爬蟲沿著Sitemap里面的鏈接地址進(jìn)行爬行，這就是Sitemap的機(jī)制。

　　普通Sitemap文件的建立如下。通過XML的方式創(chuàng)建Sitemap，這是最常見也是最簡單的一種方式。

　　網(wǎng)址

　　2015.01.03T04:20.08:00

　　always

　　1.O

　　網(wǎng)址

　　2015.01.02T20:20:36Z

　　daily

　　O.8

　　1.百度Sitemap

　　網(wǎng)頁地址

　　2015-01-01

　　dafly

　　1.0

　　2.重要字段含義

　　?changefreq：指定提交的URL對應(yīng)頁面內(nèi)容的更新頻率，例如，daily、weeIdb，、monthly、yearly。這個參數(shù)用于設(shè)置搜索引擎頁面變動的頻率，即考量是否需要蜘蛛經(jīng)常爬行并更新網(wǎng)頁的內(nèi)容。

　　?lastmod：當(dāng)前頁面內(nèi)容最后的修改時間，這個參數(shù)可以給搜索引擎一個參考，就是時效性的參考，某些內(nèi)容，特別是咨詢類的，搜索引擎會將內(nèi)容的更新時間作為排序的一個因子。

　　?priority：定義頁面的權(quán)重，權(quán)重越高，相對于其他頁面，當(dāng)前頁面的優(yōu)先級越高。

　　?：用描述具體的鏈接地址，這里需要注意的是鏈接地址中的一些特殊字符必須轉(zhuǎn)換為XML(HTML)定義的轉(zhuǎn)義字符，簡化版的

　　Sitemap也可以采用記事本方式，就是直接打開一個記事本，然后把URL填入，每個URL一行，然后直接提交搜索引擎，也能實現(xiàn)同樣的目的。

　　3.超級門戶的Sitemap模式

　　搜索引擎并不限定每個網(wǎng)站提交的Sitemap文件的個數(shù)，因此，如果網(wǎng)頁

　　URL條目比較多，可以對新增的頁面進(jìn)行差額提交。

　　在創(chuàng)建多個Sitemap文件時，可以通過一個父Sitemap文件鏈接多個子

　　Sitemap文件，子Sitemap文件通過填充實際URL條目的模式完成，這樣可以確保

　　每個Sitemap文件的URL條目不會特別多，建議一個Sitemap文件的URL條目不

　　要超過1000個。

　　下面是一個例子。

　　http://www.abc.com/sitemap1.xml.gz

　　http://www.abc.com/sitemap2.xml.gz

　　Sitemapl：

　　URLl

　　2015-01-01

　　daily

　　1.0

　　URL2

　　20 1 5..0 1.，0 1

　　daily

　　1.0

　　URL3

　　2015.01.01

　　dafly

　　1.0

　　URL4

　　20 l 5―0 1.0 1

　　daily

　　1.0

　　提交Sitemap的方式有多種，通常的做法是創(chuàng)建百度或者其他搜索引擎的站長賬戶，然后在站長后臺把Sitemap的uRL提交上去，在站長后臺可以看到每個Sitemap的處理進(jìn)度和收錄的數(shù)據(jù)。

　　2.Robots文件設(shè)置和技術(shù)細(xì)節(jié)

　　Robots.txt文件放在網(wǎng)站的根目錄下，主要用于通知蜘蛛在該網(wǎng)站上的抓取范圍，SEO可以在這個文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分，或者指定搜索引擎只收錄特定的部分。

　　(1).經(jīng)常使用到Robots.txt文件的情況

　　?網(wǎng)站升級，老版本網(wǎng)站的很多頁面在新版本網(wǎng)站中去掉了，在這種情況下，可以通過Robots文件告訴蜘蛛不再抓取這些已經(jīng)被去掉的頁面。

　　?網(wǎng)站存在很多重復(fù)的內(nèi)容，比如一個網(wǎng)站同時存在動態(tài)頁面和已經(jīng)經(jīng)過靜態(tài)化處理的頁面，這些頁面在內(nèi)容上都是完全重復(fù)的內(nèi)容，為了解決重復(fù)的問題，可以在Robots文件中禁止蜘蛛抓取動態(tài)頁面。

　　?網(wǎng)站內(nèi)部有些內(nèi)容不便于公開發(fā)布，但是需要允許內(nèi)部查閱。遇到這種情況，可以在Robots中告訴蜘蛛不要抓取。

　　(2).Robots文件的基本寫法

　　User-agent：

　　Allow：    /cgi.bin/see

　　Allow：    /tmp/hi

　　Allow：    /~joe/look

　　Disallow：    /cgi.bin/

　　Disallow：    /t.mp/

　　Disallow：|00e|

　　Allow是允許蜘蛛爬行的頁面，而Disallow后面則是不允許蜘蛛訪問的路徑和文件。

　　3.Robots的使用示例

　　(1)僅允許訪問某目錄下某個后綴的文件。

　　這里僅允許訪問帶“$”符號的網(wǎng)址，如下。

　　User―agent：*

　　Allow：.asp$

　　Disallow：/

　　(2)禁止索引網(wǎng)站中所有的動態(tài)頁面。

　　這里是限制訪問帶“?”的網(wǎng)址，例如，index.asp?id=1。

　　User―agent：*

　　DisallOW：/*?*

　　(3)使用“*”，限制訪問帶某個后綴的域名。

　　這里是禁止訪問admin目錄下所有htm文件，如下。

　　User―agent：*

　　DisaUow：/admin/*.htm