爬蟲(chóng)抓取方式分類(lèi)說(shuō)明
編輯
分享
評(píng)論
贊0
一個(gè)網(wǎng)站想被搜索引擎(百度、谷歌等)收錄，是靠索引爬蟲(chóng)抓取的。那么爬蟲(chóng)是怎么抓取的呢?下面跟大家解說(shuō)一下：
爬蟲(chóng)的抓取方式一般可以分為累積式抓取和增量式抓取兩種。
累積式抓取是指從某一個(gè)時(shí)間點(diǎn)開(kāi)始，通過(guò)遍歷的方式抓取系統(tǒng)所能允許存儲(chǔ)和處理的所有網(wǎng)頁(yè)。在理想的軟硬件環(huán)境下，經(jīng)過(guò)足夠的運(yùn)行時(shí)間，累積式抓取可以保證取到相當(dāng)規(guī)模的網(wǎng)頁(yè)集合。但由于Web數(shù)據(jù)的動(dòng)態(tài)特性，已抓取的網(wǎng)頁(yè)可能出現(xiàn)更新或死鏈的情況，因此積累式抓取到的網(wǎng)頁(yè)集合事實(shí)上并無(wú)法與真實(shí)環(huán)境中網(wǎng)絡(luò)數(shù)據(jù)保持一致。
增量式抓取是指在具有一定量規(guī)模的網(wǎng)頁(yè)集合的基礎(chǔ)上，采用更新數(shù)據(jù)的方式選取已在集合中的過(guò)時(shí)網(wǎng)頁(yè)進(jìn)行抓取，以保證所抓取的數(shù)據(jù)與真實(shí)網(wǎng)絡(luò)數(shù)據(jù)足夠接近。進(jìn)行增量式抓取的前提是，系統(tǒng)已經(jīng)抓取了足夠數(shù)量的網(wǎng)頁(yè)，并具有這些頁(yè)面被抓取的時(shí)間信息
猜你喜歡