最近由于業(yè)務需要監(jiān)控一些數(shù)據(jù)，雖然市面上有很多優(yōu)秀的爬蟲框架，但是我仍然打算從頭開始實現(xiàn)一套完整的爬蟲框架。
專業(yè)成都網(wǎng)站建設公司，做排名好的好網(wǎng)站，排在同行前面，為您帶來客戶和效益!創(chuàng)新互聯(lián)建站為您提供成都網(wǎng)站建設，五站合一網(wǎng)站設計制作，服務好的網(wǎng)站設計公司，網(wǎng)站制作、成都網(wǎng)站制作負責任的成都網(wǎng)站制作公司!
在技術選型上，我沒有選擇Spring來搭建項目，而是選擇了更輕量級的Vert.x。一方面感覺Spring太重了，而Vert.x是一個基于JVM、輕量級、高性能的框架。它基于事件和異步，依托于全異步Java服務器Netty，并擴展了很多其他特性。
github地址：https://github.com/fengzhizi715/NetDiscovery
一. 爬蟲框架的功能
爬蟲框架包含爬蟲引擎(SpiderEngine)和爬蟲(Spider)。SpiderEngine可以管理多個Spider。
1.1 Spider
在Spider中，主要包含幾個組件：downloader、queue、parser、pipeline以及代理池IP(proxypool)，代理池是一個單獨的項目，我前段時間寫的，在使用爬蟲框架時經(jīng)常需要切換代理IP，所以把它引入進來。
proxypool地址：https://github.com/fengzhizi715/ProxyPool
其余四個組件都是接口，在爬蟲框架中內置了一些實現(xiàn)，例如內置了多個下載器(downloader)包括vertx的webclient、http client、okhttp3、selenium實現(xiàn)的下載器。開發(fā)者可以根據(jù)自身情況來選擇使用或者自己開發(fā)全新的downloader。
Downloader的download方法會返回一個Maybe
重慶分公司
重慶分公司
package com.cv4j.netdiscovery.core.downloader;
import com.cv4j.netdiscovery.core.domain.Request;
import com.cv4j.netdiscovery.core.domain.Response;
import io.reactivex.Maybe;
/**
* Created by tony on 2017/12/23.
*/
public interface Downloader {
Maybe download(Request request);
void close();
}
在Spider中，通過Maybe
downloader.download(request)
.observeOn(Schedulers.io())
.map(new Function() {
@Override
public Page apply(Response response) throws Exception {
Page page = new Page();
page.setHtml(new Html(response.getContent()));
page.setRequest(request);
page.setUrl(request.getUrl());
page.setStatusCode(response.getStatusCode());
return page;
}
})
.map(new Function() {
@Override
public Page apply(Page page) throws Exception {
if (parser != null) {
parser.process(page);
}
return page;
}
})
.map(new Function() {
@Override
public Page apply(Page page) throws Exception {
if (Preconditions.isNotBlank(pipelines)) {
pipelines.stream()
.forEach(pipeline -> pipeline.process(page.getResultItems()));
}
return page;
}
})
.subscribe(new Consumer() {
@Override
public void accept(Page page) throws Exception {
log.info(page.getUrl());
if (request.getAfterRequest()!=null) {
request.getAfterRequest().process(page);
}
}
}, new Consumer() {
@Override
public void accept(Throwable throwable) throws Exception {
log.error(throwable.getMessage());
}
});
在這里使用RxJava 2可以讓整個爬蟲框架看起來更加響應式：）
1.2 SpiderEngine
SpiderEngine可以包含多個Spider，可以通過addSpider()、createSpider()來將爬蟲添加到SpiderEngine和創(chuàng)建新的Spider并添加到SpiderEngine。
在SpiderEngine中，如果調用了httpd(port)方法，還可以監(jiān)控SpiderEngine中各個Spider。
1.2.1 獲取某個爬蟲的狀態(tài)
http://localhost:{port}/netdiscovery/spider/{spiderName}
類型：GET
1.2.2 獲取SpiderEngine中所有爬蟲的狀態(tài)
http://localhost:{port}/netdiscovery/spiders/
類型：GET
1.2.3 修改某個爬蟲的狀態(tài)
http://localhost:{port}/netdiscovery/spider/{spiderName}/status
類型：POST
參數(shù)說明：
{
"status":2 //讓爬蟲暫停
}
| status | 作用 |
|---|---|
| 2 | 讓爬蟲暫停 |
| 3 | 讓爬蟲從暫停中恢復 |
| 4 | 讓爬蟲停止 |
使用框架的例子
創(chuàng)建一個SpiderEngine，然后創(chuàng)建三個Spider，每個爬蟲每隔一定的時間去爬取一個頁面。
SpiderEngine engine = SpiderEngine.create();
Spider spider = Spider.create()
.name("tony1")
.repeatRequest(10000,"http://www.163.com")
.initialDelay(10000);
engine.addSpider(spider);
Spider spider2 = Spider.create()
.name("tony2")
.repeatRequest(10000,"http://www.baidu.com")
.initialDelay(10000);
engine.addSpider(spider2);
Spider spider3 = Spider.create()
.name("tony3")
.repeatRequest(10000,"http://www.126.com")
.initialDelay(10000);
engine.addSpider(spider3);
engine.httpd(8080);
engine.run();上述程序運行一段時間之后，在瀏覽器中輸入：http://localhost:8080/netdiscovery/spiders
我們能看到三個爬蟲運行的結果。
將json格式化一下
{
"code": 200,
"data": [{
"downloaderType": "VertxDownloader",
"leftRequestSize": 0,
"queueType": "DefaultQueue",
"spiderName": "tony2",
"spiderStatus": 1,
"totalRequestSize": 7
}, {
"downloaderType": "VertxDownloader",
"leftRequestSize": 0,
"queueType": "DefaultQueue",
"spiderName": "tony3",
"spiderStatus": 1,
"totalRequestSize": 7
}, {
"downloaderType": "VertxDownloader",
"leftRequestSize": 0,
"queueType": "DefaultQueue",
"spiderName": "tony1",
"spiderStatus": 1,
"totalRequestSize": 7
}],
"message": "success"
}
案例
最近比較關注區(qū)塊鏈，因此做了一個程序來實時抓取三種數(shù)字貨幣的價格，可以通過“詢問”公眾號的方式來獲取最新的價格。
目前該程序已經(jīng)上線，可以通過詢問我的公眾號，來實時獲取這幾種數(shù)字貨幣的最新價格。
TODO
總結
這個爬蟲框架才剛剛起步，我也參考了很多優(yōu)秀的爬蟲框架。未來我會在框架中考慮增加通過截屏圖片來分析圖片中的數(shù)據(jù)。甚至會結合cv4j框架。過年前，在爬蟲框架中會優(yōu)先實現(xiàn)對登錄驗證碼的識別。
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持創(chuàng)新互聯(lián)。
