robots協(xié)議
作者:gaoxiaokepu
瀏覽:851次
發(fā)布時間:2017-10-26




Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取