創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)建站專注于中大型企業(yè)的成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站和網(wǎng)站改版、網(wǎng)站營(yíng)銷服務(wù)，追求商業(yè)策劃與數(shù)據(jù)分析、創(chuàng)意藝術(shù)與技術(shù)開(kāi)發(fā)的融合，累計(jì)客戶成百上千，服務(wù)滿意度達(dá)97%。幫助廣大客戶順利對(duì)接上互聯(lián)網(wǎng)浪潮，準(zhǔn)確優(yōu)選出符合自己需要的互聯(lián)網(wǎng)運(yùn)用，我們將一直專注品牌網(wǎng)站制作和互聯(lián)網(wǎng)程序開(kāi)發(fā)，在前進(jìn)的路上，與客戶一起成長(zhǎng)！

這篇文章主要講解了如何使用Java中的Heritrix框架，內(nèi)容清晰明了，對(duì)此有興趣的小伙伴可以學(xué)習(xí)一下，相信大家閱讀完之后會(huì)有幫助。

Heritrix是一個(gè)由Java開(kāi)發(fā)的開(kāi)源Web爬蟲(chóng)系統(tǒng)，用來(lái)獲取完整的、精確的站點(diǎn)內(nèi)容的深度復(fù)制，

具有強(qiáng)大的可擴(kuò)展性，運(yùn)行開(kāi)發(fā)者任意選擇或擴(kuò)展各個(gè)組件，實(shí)現(xiàn)特定的抓取邏輯。

一、Heritrix介紹

Heritrix采用了模塊化的設(shè)計(jì)，用戶可以在運(yùn)行時(shí)選擇要用的模塊。它由核心類（core classes）和插件模塊（pluggable modules）構(gòu)成。

核心類可以配置，但不能被覆蓋，插件模塊可以由第三方模塊取代。所以我們就可以用實(shí)現(xiàn)了特定抓取邏輯的第三方模塊來(lái)取代默認(rèn)的插件模塊，從而滿足自己的抓取需要。

CrawlController（下載控制器）整個(gè)下載過(guò)程的總控制者，整個(gè)抓取工作的起點(diǎn)，決定整個(gè)抓取任務(wù)的開(kāi)始和結(jié)束。每個(gè)URI都有一個(gè)獨(dú)立的線程，它從邊界控制器（Frontier）獲取新的URI，然后傳遞給Processor chains（處理鏈）經(jīng)過(guò)一系列Processor（處理器）處理。

二、Heritrix架構(gòu)

中央控制器 CrawlController 是核心組件，決定了整個(gè)抓取任務(wù)的開(kāi)始與結(jié)束。

用戶在 Heritrix web UI 控制臺(tái)設(shè)置抓取任務(wù)后，heritrix首先構(gòu)造XMLSettingsHandler對(duì)象，然后調(diào)用CrawlController的構(gòu)造函數(shù)，構(gòu)造一個(gè)CrawlController實(shí)例并初始化，這樣，CrawlController就具備了運(yùn)行條件。

此時(shí)，只需調(diào)用 requestCrawlStart()方法就可以啟動(dòng)線程池和Frontier，以便向線程池中工作線程提供抓取用的URL鏈接。

Heritrix 3.x 的框架主要分為 Engine 和 Component

三、一些API

org.archive.crawler.framework.CrawlJob;

org.archive.crawler.postprocessor.CandidatesProcessor;
org.archive.modules.CrawlURI;

等等

抓取任務(wù)CrawlOrder類：是整個(gè)抓取工作的起點(diǎn)。一次抓取任務(wù)包括許多屬性，建立一個(gè)任務(wù)的方式有很多種，最簡(jiǎn)單的一種就是根據(jù)默認(rèn)的order.xml來(lái)配置。

中央控制器CrawlController：該類決定著抓取任務(wù)的開(kāi)始和結(jié)束。它包含以下幾個(gè)組件：

CrawlOrder：該類保存了order.xml的屬性配置；

CrawlScope：決定當(dāng)前抓取范圍；

ProcessorChainList：處理器鏈；

Frontier：一次抓取任務(wù)需要設(shè)定一個(gè)Frontier，以此來(lái)不斷為其每個(gè)線程提供URI；

ToePool：它是一個(gè)線程池，管理了所有在當(dāng)前任務(wù)中抓取過(guò)的Host名稱和Server名稱。

中央控制器CrawlControllr的類結(jié)構(gòu)如圖所示：

Frontier鏈接制造工廠：它表示一種為線程提供鏈接的工具，通過(guò)一些特定的算法來(lái)決定哪個(gè)鏈接將接下來(lái)被送入處理器鏈中，同時(shí)，它本身也負(fù)責(zé)一定的日志和狀態(tài)報(bào)告功能。

BdbFrontier類：它是用Berkeley DB 實(shí)現(xiàn)的，Berkeley DB 就是一個(gè)HashTable，它能夠按“key/value”方式保存數(shù)據(jù)，能夠?yàn)閼?yīng)用程序提供可伸縮的、高性能的、有事務(wù)保護(hù)功能的嵌入式數(shù)據(jù)庫(kù)。

Heritrix的多線程ToeThread和ToePool：要想更快更有效地抓取網(wǎng)頁(yè)，必須采用多線程，Heritrix則采用多線程機(jī)制，提供了一個(gè)標(biāo)準(zhǔn)的線程池ToePool，用于管理所有的抓取線程。

處理器鏈 Processor：包括PreProcessor、Fetcher、Extractor、Writer、PostProcessor五種。

四、應(yīng)用

作為爬蟲(chóng)模塊，爬取數(shù)據(jù)

看完上述內(nèi)容，是不是對(duì)如何使用Java中的Heritrix框架有進(jìn)一步的了解，如果還想學(xué)習(xí)更多內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

新聞標(biāo)題：如何使用Java中的Heritrix框架-創(chuàng)新互聯(lián)
標(biāo)題路徑：http://weahome.cn/article/djhjdj.html