robots協(xié)議
作者：gaoxiaokepu
瀏覽：851次
發(fā)布時間：2017-10-26
編輯
分享
評論
贊0
Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網絡爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取
猜你喜歡