亚洲无人区一区二区三区_农村玉米地少妇野战亚洲_国产欧美日韩VA另类在线播放_免费人成视频网站在线_国产在线精品一区二区高清不卡

robots協(xié)議

作者:聚擎 瀏覽:947 發(fā)布時間:2017-10-28
編輯 分享 評論 0

robots協(xié)議

Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol),網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。


詞條統(tǒng)計

  • 瀏覽次數(shù):947
  • 編輯次數(shù):0次歷史版本
  • 最近更新:2017-10-30
  • 創(chuàng)建者:聚擎
  • 相關(guān)詞條

    相關(guān)問答

    相關(guān)百科

    相關(guān)資訊