Heritrix是一個由Java開發的開源Web爬蟲系統，用來獲取完整的、精確的站點內容的深度復制，
具有強大的可擴展性，運行開發者任意選擇或擴展各個組件，實現特定的抓取邏輯。
一、Heritrix介紹
Heritrix采用了模塊化的設計，用戶可以在運行時選擇要用的模塊。它由核心類（core classes）和插件模塊（pluggable modules）構成。
核心類可以配置，但不能被覆蓋，插件模塊可以由第三方模塊取代。所以我們就可以用實現了特定抓取邏輯的第三方模塊來取代默認的插件模塊，從而滿足自己的抓取需要。
CrawlController（下載控制器）整個下載過程的總控制者，整個抓取工作的起點，決定整個抓取任務的開始和結束。每個URI都有一個獨立的線程，它從邊界控制器（Frontier）獲取新的URI，然后傳遞給Processor chains（處理鏈）經過一系列Processor（處理器）處理。
二、Heritrix架構
中央控制器 CrawlController 是核心組件，決定了整個抓取任務的開始與結束。
用戶在 Heritrix web UI 控制台設置抓取任務后，heritrix首先構造XMLSettingsHandler對象，然后調用CrawlController的構造函數，構造一個CrawlController實例並初始化，這樣，CrawlController就具備了運行條件。
此時，只需調用 requestCrawlStart()方法就可以啟動線程池和Frontier，以便向線程池中工作線程提供抓取用的URL鏈接。
Heritrix 3.x 的框架主要分為 Engine 和 Component
三、一些API
org.archive.crawler.framework.CrawlJob;
org.archive.crawler.postprocessor.CandidatesProcessor;
org.archive.modules.CrawlURI;
等等
抓取任務CrawlOrder類：是整個抓取工作的起點。一次抓取任務包括許多屬性，建立一個任務的方式有很多種，最簡單的一種就是根據默認的order.xml來配置。
中央控制器CrawlController：該類決定着抓取任務的開始和結束。它包含以下幾個組件：
CrawlOrder：該類保存了order.xml的屬性配置；
CrawlScope：決定當前抓取范圍；
ProcessorChainList：處理器鏈；
Frontier：一次抓取任務需要設定一個Frontier，以此來不斷為其每個線程提供URI；
ToePool：它是一個線程池，管理了所有在當前任務中抓取過的Host名稱和Server名稱。
中央控制器CrawlControllr的類結構如圖所示：
Frontier鏈接制造工廠：它表示一種為線程提供鏈接的工具，通過一些特定的算法來決定哪個鏈接將接下來被送入處理器鏈中，同時，它本身也負責一定的日志和狀態報告功能。
BdbFrontier類：它是用Berkeley DB 實現的，Berkeley DB 就是一個HashTable，它能夠按“key/value”方式保存數據，能夠為應用程序提供可伸縮的、高性能的、有事務保護功能的嵌入式數據庫。
Heritrix的多線程ToeThread和ToePool：要想更快更有效地抓取網頁，必須采用多線程，Heritrix則采用多線程機制，提供了一個標准的線程池ToePool，用於管理所有的抓取線程。
處理器鏈 Processor：包括PreProcessor、Fetcher、Extractor、Writer、PostProcessor五種。
四、應用
作為爬蟲模塊，爬取數據
掃個紅包吧！
Donate捐贈
如果我的文章幫助了你，可以贊賞我 6.66 元給我支持，讓我繼續寫出更好的內容)
（微信） （支付寶）
微信/支付寶 掃一掃