機(jī)器人協(xié)議
作者:紫色年華
瀏覽:1912次
發(fā)布時(shí)間:2017-09-05




機(jī)器人協(xié)議(Robots.txt)不過(guò)是一個(gè)TXT文本文件,存在于你域名根目錄之下,作用是將網(wǎng)站的目錄結(jié)構(gòu)信息告訴爬蟲(chóng)和蜘蛛,并限制其對(duì)特定文件夾和內(nèi)容的訪問(wèn),或者是完全將它們關(guān)在門(mén)外。