分類
網絡爬蟲按照系統結構和實現技術，大致可以分為以下幾種類型：通用網絡爬蟲（General Purpose Web Crawler）、聚焦網絡爬蟲（Focused Web Crawler）、增量式網絡爬蟲（Incremental Web Crawler）、深層網絡爬蟲（Deep Web Crawler）。 實際的網絡爬蟲系統通常是幾種爬蟲技術相結合實現的。
通用網絡爬蟲
通用網絡爬蟲又稱全網爬蟲（Scalable Web Crawler），爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務提供商采集數據。 由於商業原因，它們的技術細節很少公布出來。 這類網絡爬蟲的爬行范圍和數量巨大，對於爬行速度和存儲空間要求較高，對於爬行頁面的順序要求相對較低，同時由於待刷新的頁面太多，通常采用並行工作方式，但需要較長時間才能刷新一次頁面。 雖然存在一定缺陷，通用網絡爬蟲適用於為搜索引擎搜索廣泛的主題，有較強的應用價值。
通用網絡爬蟲的結構大致可以分為頁面爬行模塊 、頁面分析模塊、鏈接過濾模塊、頁面數據庫、URL 隊列、初始 URL 集合幾個部分。為提高工作效率，通用網絡爬蟲會采取一定的爬行策略。 常用的爬行策略有：深度優先策略、廣度優先策略。
1) 深度優先策略：其基本方法是按照深度由低到高的順序，依次訪問下一級網頁鏈接，直到不能再深入為止。 爬蟲在完成一個爬行分支后返回到上一鏈接節點進一步搜索其它鏈接。 當所有鏈接遍歷完后，爬行任務結束。 這種策略比較適合垂直搜索或站內搜索， 但爬行頁面內容層次較深的站點時會造成資源的巨大浪費。
2) 廣度優先策略：此策略按照網頁內容目錄層次深淺來爬行頁面，處於較淺目錄層次的頁面首先被爬行。 當同一層次中的頁面爬行完畢后，爬蟲再深入下一層繼續爬行。 這種策略能夠有效控制頁面的爬行深度，避免遇到一個無窮深層分支時無法結束爬行的問題，實現方便，無需存儲大量中間節點，不足之處在於需較長時間才能爬行到目錄層次較深的頁面。
聚焦網絡爬蟲
聚焦網絡爬蟲（Focused Crawler），又稱主題網絡爬蟲（Topical Crawler），是指選擇性地爬行那些與預先定義好的主題相關頁面的網絡爬蟲[8]。 和通用網絡爬蟲相比，聚焦爬蟲只需要爬行與主題相關的頁面，極大地節省了硬件和網絡資源，保存的頁面也由於數量少而更新快，還可以很好地滿足一些特定人群對特定領域信息的需求。
聚焦網絡爬蟲和通用網絡爬蟲相比，增加了鏈接評價模塊以及內容評價模塊。聚焦爬蟲爬行策略實現的關鍵是評價頁面內容和鏈接的重要性，不同的方法計算出的重要性不同，由此導致鏈接的訪問順序也不同。
1) 基於內容評價的爬行策略：DeBra將文本相似度的計算方法引入到網絡爬蟲中，提出了 Fish Search 算法，它將用戶輸入的查詢詞作為主題，包含查詢詞的頁面被視為與主題相關，其局限性在於無法評價頁面與主題相關 度 的 高 低 。 Herseovic對 Fish Search 算 法 進 行 了 改 進 ，提 出 了 Sharksearch 算法，利用空間向量模型計算頁面與主題的相關度大小。
2) 基於鏈接結構評價的爬行策略 ：Web 頁面作為一種半結構化文檔，包含很多結構信息，可用來評價鏈接重要性。 PageRank 算法最初用於搜索引擎信息檢索中對查詢結果進行排序，也可用於評價鏈接重要性，具體做法就是每次選擇 PageRank 值較大頁面中的鏈接來訪問。 另一個利用 Web結構評價鏈接價值的方法是 HITS 方法，它通過計算每個已訪問頁面的 Authority 權重和 Hub 權重，並以此決定鏈接的訪問順序。
3) 基於增強學習的爬行策略：Rennie 和 McCallum 將增強學習引入聚焦爬蟲，利用貝葉斯分類器，根據整個網頁文本和鏈接文本對超鏈接進行分類，為每個鏈接計算出重要性，從而決定鏈接的訪問順序。
4) 基於語境圖的爬行策略：Diligenti 等人提出了一種通過建立語境圖（Context Graphs）學習網頁之間的相關度，訓練一個機器學習系統，通過該系統可計算當前頁面到相關 Web 頁面的距離，距離越近的頁面中的鏈接優先訪問。印度理工大學（IIT）和 IBM 研究中心的研究人員開發了一個典型的聚焦網絡爬蟲。 該爬蟲對主題的定義既不是采用關鍵詞也不是加權矢量，而是一組具有相同主題的網頁。 它包含兩個重要模塊：一個是分類器，用來計算所爬行的頁面與主題的相關度，確定是否與主題相關；另一個是凈化器，用來識別通過較少鏈接連接到大量相關頁面的中心頁面。
增量式網絡爬蟲
增量式網絡爬蟲（Incremental Web Crawler）是 指 對 已 下 載 網 頁 采 取 增 量式更新和只爬行新產生的或者已經發生變化網頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面。 和周期性爬行和刷新頁面的網絡爬蟲相比，增量式爬蟲只會在需要的時候爬行新產生或發生更新的頁面 ，並不重新下載沒有發生變化的頁面，可有效減少數據下載量，及時更新已爬行的網頁，減小時間和空間上的耗費，但是增加了爬行算法的復雜度和實現難度。增量式網絡爬蟲的體系結構[包含爬行模塊、排序模塊、更新模塊、本地頁面集、待爬行 URL 集以及本地頁面URL 集。
增量式爬蟲有兩個目標：保持本地頁面集中存儲的頁面為最新頁面和提高本地頁面集中頁面的質量。 為實現第一個目標，增量式爬蟲需要通過重新訪問網頁來更新本地頁面集中頁面內容，常用的方法有：1) 統一更新法：爬蟲以相同的頻率訪問所有網頁，不考慮網頁的改變頻率；2) 個體更新法：爬蟲根據個體網頁的改變頻率來重新訪問各頁面；3) 基於分類的更新法：爬蟲根據網頁改變頻率將其分為更新較快網頁子集和更新較慢網頁子集兩類，然后以不同的頻率訪問這兩類網頁。
為實現第二個目標，增量式爬蟲需要對網頁的重要性排序，常用的策略有：廣度優先策略、PageRank 優先策略等。IBM 開發的 WebFountain是一個功能強大的增量式網絡爬蟲，它采用一個優化模型控制爬行過程，並沒有對頁面變化過程做任何統計假設，而是采用一種自適應的方法根據先前爬行周期里爬行結果和網頁實際變化速度對頁面更新頻率進行調整。北京大學的天網增量爬行系統旨在爬行國內 Web，將網頁分為變化網頁和新網頁兩類，分別采用不同爬行策略。 為緩解對大量網頁變化歷史維護導致的性能瓶頸，它根據網頁變化時間局部性規律，在短時期內直接爬行多次變化的網頁 ，為盡快獲取新網頁，它利用索引型網頁跟蹤新出現網頁。
Deep Web 爬蟲
Web 頁面按存在方式可以分為表層網頁（Surface Web）和深層網頁（Deep Web，也稱 Invisible Web Pages 或 Hidden Web）。 表層網頁是指傳統搜索引擎可以索引的頁面，以超鏈接可以到達的靜態網頁為主構成的 Web 頁面。Deep Web 是那些大部分內容不能通過靜態鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關鍵詞才能獲得的 Web 頁面。例如那些用戶注冊后內容才可見的網頁就屬於 Deep Web。 2000 年 Bright Planet 指出：Deep Web 中可訪問信息容量是 Surface Web 的幾百倍，是互聯網上最大、發展最快的新型信息資源。
Deep Web 爬蟲體系結構包含六個基本功能模塊 （爬行控制器、解析器、表單分析器、表單處理器、響應分析器、LVS 控制器）和兩個爬蟲內部數據結構（URL 列表、LVS 表）。 其中 LVS（Label Value Set）表示標簽/數值集合，用來表示填充表單的數據源。
Deep Web 爬蟲爬行過程中最重要部分就是表單填寫，包含兩種類型：
1) 基於領域知識的表單填寫：此方法一般會維持一個本體庫，通過語義分析來選取合適的關鍵詞填寫表單。 Yiyao Lu[25]等人提出一種獲取 Form 表單信息的多注解方法，將數據表單按語義分配到各個組中 ，對每組從多方面注解，結合各種注解結果來預測一個最終的注解標簽；鄭冬冬等人利用一個預定義的領域本體知識庫來識別 Deep Web 頁面內容， 同時利用一些來自 Web 站點導航模式來識別自動填寫表單時所需進行的路徑導航。
2) 基於網頁結構分析的表單填寫： 此方法一般無領域知識或僅有有限的領域知識，將網頁表單表示成 DOM 樹，從中提取表單各字段值。 Desouky 等人提出一種 LEHW 方法，該方法將 HTML 網頁表示為DOM 樹形式，將表單區分為單屬性表單和多屬性表單，分別進行處理；孫彬等人提出一種基於 XQuery 的搜索系統，它能夠模擬表單和特殊頁面標記切換，把網頁關鍵字切換信息描述為三元組單元，按照一定規則排除無效表單，將 Web 文檔構造成 DOM 樹，利用 XQuery 將文字屬性映射到表單字段。
Raghavan 等人提出的 HIWE 系統中，爬行管理器負責管理整個爬行過程，分析下載的頁面，將包含表單的頁面提交表單處理器處理，表單處理器先從頁面中提取表單，從預先准備好的數據集中選擇數據自動填充並提交表單，由爬行控制器下載相應的結果頁面。
抓取目標分類
抓取目標的描述和定義是決定網頁分析算法與URL搜索策略如何制訂的基礎。而網頁分析算法和候選URL排序算法是決定搜索引擎所提供的服務形式和爬蟲網頁抓取行為的關鍵所在。這兩個部分的算法又是緊密相關的。
現有聚焦爬蟲對抓取目標的描述可分為基於目標網頁特征、基於目標數據模式和基於領域概念3種。
基於目標網頁特征
基於目標網頁特征的爬蟲所抓取、存儲並索引的對象一般為網站或網頁。根據種子樣本獲取方式可分為：
（1） 預先給定的初始抓取種子樣本；
（2） 預先給定的網頁分類目錄和與分類目錄對應的種子樣本，如Yahoo!分類結構等；
（3） 通過用戶行為確定的抓取目標樣例，分為：
(a) 用戶瀏覽過程中顯示標注的抓取樣本；
(b) 通過用戶日志挖掘得到訪問模式及相關樣本。
其中，網頁特征可以是網頁的內容特征，也可以是網頁的鏈接結構特征，等等。
基於目標數據模式
基於目標數據模式的爬蟲針對的是網頁上的數據，所抓取的數據一般要符合一定的模式，或者可以轉化或映射為目標數據模式。
基於領域概念
另一種描述方式是建立目標領域的本體或詞典，用於從語義角度分析不同特征在某一主題中的重要程度。
網頁搜索策略
網頁的抓取策略可以分為深度優先、廣度優先和最佳優先三種。深度優先在很多情況下會導致爬蟲的陷入(trapped)問題，目前常見的是廣度優先和最佳優先方法。
廣度優先搜索
廣度優先搜索策略是指在抓取過程中，在完成當前層次的搜索后，才進行下一層次的搜索。該算法的設計和實現相對簡單。在目前為覆蓋盡可能多的網頁，一般使用廣度優先搜索方法。也有很多研究將廣度優先搜索策略應用於聚焦爬蟲中。其基本思想是認為與初始URL在一定鏈接距離內的網頁具有主題相關性的概率很大。另外一種方法是將廣度優先搜索與網頁過濾技術結合使用，先用廣度優先策略抓取網頁，再將其中無關的網頁過濾掉。這些方法的缺點在於，隨着抓取網頁的增多，大量的無關網頁將被下載並過濾，算法的效率將變低。
最佳優先搜索
最佳優先搜索策略按照一定的網頁分析算法，預測候選URL與目標網頁的相似度，或與主題的相關性，並選取評價最好的一個或幾個URL進行抓取。它只訪問經過網頁分析算法預測為“有用”的網頁。存在的一個問題是，在爬蟲抓取路徑上的很多相關網頁可能被忽略，因為最佳優先策略是一種局部最優搜索算法。因此需要將最佳優先結合具體的應用進行改進，以跳出局部最優點。將在第4節中結合網頁分析算法作具體的討論。研究表明，這樣的閉環調整可以將無關網頁數量降低30%~90%。
深度優先搜索
深度優先搜索策略從起始網頁開始，選擇一個URL進入，分析這個網頁中的URL，選擇一個再進入。如此一個鏈接一個鏈接地抓取下去，直到處理完一條路線之后再處理下一條路線。深度優先策略設計較為簡單。然而門戶網站提供的鏈接往往最具價值，PageRank也很高，但每深入一層，網頁價值和PageRank都會相應地有所下降。這暗示了重要網頁通常距離種子較近，而過度深入抓取到的網頁卻價值很低。同時，這種策略抓取深度直接影響着抓取命中率以及抓取效率，對抓取深度是該種策略的關鍵。相對於其他兩種策略而言。此種策略很少被使用。