亚洲无人区一区二区三区_农村玉米地少妇野战亚洲_国产欧美日韩VA另类在线播放_免费人成视频网站在线_国产在线精品一区二区高清不卡

昵稱(chēng)：四色花

接單：274   關(guān)注TA

達(dá)標(biāo)率 0%

什么是Robots協(xié)議？

作者：四色花 瀏覽：436次 發(fā)布時(shí)間：2017-12-08
分享 評(píng)論 贊3

    1Robots.txt存儲(chǔ)位置？


    Robots文件必須換在網(wǎng)站的根目錄下，因?yàn)樗阉饕孀ト【W(wǎng)頁(yè)是從根目錄開(kāi)始，而蜘蛛抓取網(wǎng)站內(nèi)容時(shí)會(huì)先檢測(cè)Robots文件，按照Robots文件的規(guī)則去抓取網(wǎng)站內(nèi)容（即要查看其它網(wǎng)站的Robots文件可以直接輸入“域名/robots.txt”就能看到具體內(nèi)容）。


    2Robots與Nofollow的區(qū)別？


    Robots與Nofollow的本質(zhì)區(qū)別在于Nofollow只是在當(dāng)前網(wǎng)頁(yè)禁止蜘蛛跟蹤超鏈接，而蜘蛛可能會(huì)通過(guò)其它路徑抓取到被Nofollow的網(wǎng)頁(yè)。而Robots是禁止搜索引擎索引Disallow的網(wǎng)頁(yè)。也就是說(shuō)在搜索引擎可以搜索到Nofollow掉的網(wǎng)頁(yè)，但是搜索不到Robots Disallow的網(wǎng)頁(yè)。


    3Robots的語(yǔ)法規(guī)則？


    Sitemap指定網(wǎng)站地圖的路徑（即Sitemap: http://www.lincox.cn/sitemap.xml）。User-agent指定具體的搜索引擎蜘蛛（User-agent: *，代表所有搜索引擎、User-agent: Baiduspider指定百度搜索引擎蜘蛛、User-agent:Googlebot指定谷歌搜索引擎蜘蛛）。Allow:是允許抓取的路徑，Disallow:是禁止抓取的路徑?？梢允褂猛ㄅ浞篋isallow: /*.css$禁止蜘蛛爬取所有css文件（具體可以查看本站的Robots文件）。


    4Robots的運(yùn)用？


    通過(guò)Robots禁止網(wǎng)站后臺(tái)登入地址被搜索引擎收錄，避免黑客使用搜索引擎的inulr命令找到網(wǎng)站后臺(tái)的登入地址，以提高網(wǎng)站的安全性。同時(shí)也可以禁止蜘蛛抓取容量較大的文件，以提高網(wǎng)站的訪問(wèn)速度