與廣度優(yōu)先的抓取方式相反,深度優(yōu)先首先跟蹤淺層頁(yè)面中的某一連接后 逐步抓取深層頁(yè)面,直到抓完最深層的頁(yè)面才返回淺層頁(yè)面再跟蹤另一鏈接,繼續(xù)向深層頁(yè)面抓取,這是一種縱向的頁(yè)面抓取方式。使用深度優(yōu)先的抓取方式,搜索引擎可以抓取到網(wǎng)站中較為隱蔽、冷門的頁(yè)面,這樣就能滿足更多用戶的需求。
首先,搜索引擎會(huì)抓取網(wǎng)站的首頁(yè),并提取首頁(yè)中的鏈接,再沿著其中的一個(gè)連接抓取到頁(yè)面A-1,同時(shí)獲取A-中的鏈接并抓取頁(yè)面B-1,獲取B-1中的來(lái)鏈接并抓取頁(yè)面C-1,如此不斷地重復(fù),滿足到某個(gè)條件后,再?gòu)腁-2抓取頁(yè)面及鏈接。