亚洲无人区一区二区三区_农村玉米地少妇野战亚洲_国产欧美日韩VA另类在线播放_免费人成视频网站在线_国产在线精品一区二区高清不卡

昵稱：青檸i

接單：215   關(guān)注TA

達(dá)標(biāo)率 0%

搜索引擎真的遵守robots.txt協(xié)議嗎？

作者：青檸i 瀏覽：175次 發(fā)布時(shí)間：2018-05-22
分享 評(píng)論 贊0

    我們都知道文件是搜索引擎遵守的一個(gè)抓取協(xié)議,但是是不是真的有效果呢?


    搜索引擎真的會(huì)遵循這個(gè)協(xié)議嗎?


    讓我們首先來看看


    下面這段 [這是我南昌seo站點(diǎn)的設(shè)置:允許GG 百度、ALEXA 抓取,屏蔽了其他一切引擎禁止!]


    User-agent:Googlebot


    Disallow:


    User-agent:baiduspider


    Disallow:


    User-agent:ia_archiver


    Disallow:


    User-agent:*


    Disallow:/


    從理論上來說 這樣的設(shè)置就屏蔽了其他一切引擎,但實(shí)際上這種方法并不能完全屏蔽SOSO YAHOO MSN之類的爬蟲,在YAHOO上輸入site:還是可以看到內(nèi)容以及索引的! 遵守robots協(xié)議與否當(dāng)然是由他們自己說了算的!所以要想完全屏蔽搜索引擎的爬蟲,需要在.htaccess中加入限制語句才行,這里我們介紹2種最簡單的方法: 1:


    RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC] RewriteRule .* - [F]


    2:


    SetEnvIfNoCase User-Agent "^MSNBOT" bad_bot


    <Limit GET POST> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>


    注:MSNBOT 為MSN蜘蛛機(jī)器人代碼 ,如果想要真正屏蔽某個(gè)搜索引擎 把其中的紅色部分[MSNBOT] 換成你想要屏蔽的蜘蛛機(jī)器人代碼即可! 請(qǐng)不要隨意添寫 否則造成損失與本人無關(guān)! seo小林發(fā)布,轉(zhuǎn)載請(qǐng)注明出處:江西南昌seo