如何進行基于ElasticStack的海量日志分析平臺實踐

這期內(nèi)容當中小編將會給大家?guī)碛嘘P(guān)如何進行基于Elastic Stack的海量日志分析平臺實踐，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

站在用戶的角度思考問題，與客戶深入溝通，找到武昌網(wǎng)站設(shè)計與武昌網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：成都網(wǎng)站設(shè)計、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、申請域名、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋武昌地區(qū)。

Elastic Stack簡介

Elastic Stack包括Beats、Elasticsearch、Logstash、Kibana、APM等，ELK是其核心套件。

Elasticsearch 是實時全文搜索和分析引擎，提供搜集、分析、存儲數(shù)據(jù)三大功能；是一套開放REST和JAVA API等結(jié)構(gòu)提供高效搜索功能，可擴展的分布式系統(tǒng)。它構(gòu)建于Apache Lucene搜索引擎庫之上。

Logstash 是一個用來搜集、分析、過濾日志的工具。它支持幾乎任何類型的日志，包括系統(tǒng)日志、錯誤日志和自定義應(yīng)用程序日志。它可以從許多來源接收日志，這些來源包括 syslog、消息傳遞（例如 RabbitMQ）和JMX，它能夠以多種方式輸出數(shù)據(jù)，包括電子郵件、websockets和Elasticsearch。

Kibana 是一個基于Web的圖形界面，用于搜索、分析和可視化存儲在 Elasticsearch指標中的日志數(shù)據(jù)。它利用Elasticsearch的REST接口來檢索數(shù)據(jù)，不僅允許用戶創(chuàng)建他們自己的數(shù)據(jù)的定制儀表板視圖，還允許他們以特殊的方式查詢和過濾數(shù)據(jù)。

Beats是輕量級數(shù)據(jù)采集工具，包括：

1.Packetbeat（搜集網(wǎng)絡(luò)流量數(shù)據(jù)）；

2.Topbeat（搜集系統(tǒng)、進程和文件系統(tǒng)級別的 CPU 和內(nèi)存使用情況等數(shù)據(jù)）；

3.Filebeat（搜集文件數(shù)據(jù)）；

4.Winlogbeat（搜集 Windows 事件日志數(shù)據(jù)）

5.Metricbeat（收集系統(tǒng)級的 CPU 使用率、內(nèi)存、文件系統(tǒng)、磁盤 IO 和網(wǎng)絡(luò) IO 統(tǒng)計數(shù)據(jù)）；

6.Auditbeat（采集linux審計日志）；

系統(tǒng)架構(gòu)

第一種ELK架構(gòu)，是最簡單的一種ELK架構(gòu)方式。優(yōu)點是搭建簡單，易于上手。缺點是Logstash耗資源較大，運行占用CPU和內(nèi)存高。另外沒有消息隊列緩存，存在數(shù)據(jù)丟失隱患。建議小規(guī)模集群使用。此架構(gòu)首先由Logstash分布于各個節(jié)點上搜集相關(guān)日志、數(shù)據(jù)，并經(jīng)過分析、過濾后發(fā)送給遠端服務(wù)器上的Elasticsearch進行存儲。

Elasticsearch將數(shù)據(jù)以分片的形式壓縮存儲并提供多種API供用戶查詢，操作。用戶亦可以更直觀的通過配置Kibana Web Portal方便的對日志查詢，并根據(jù)數(shù)據(jù)生成報表。

第二種架構(gòu)，引入了消息隊列機制，位于各個節(jié)點上的Logstash Agent先將數(shù)據(jù)/日志傳遞給Kafka（或者redis），并將隊列中消息或數(shù)據(jù)間接傳遞給Logstash，Logstash過濾、分析后將數(shù)據(jù)傳遞給Elasticsearch存儲。最后由Kibana將日志和數(shù)據(jù)呈現(xiàn)給用戶。因為引入了Kafka（或者Redis）,所以即使遠端Logstash server因故障停止運行，數(shù)據(jù)將會先被存儲下來，從而避免數(shù)據(jù)丟失。這種架構(gòu)適合于較大集群的解決方案，但由于Logstash中心節(jié)點和Elasticsearch的負荷會比較重，可將他們配置為集群模式，以分擔(dān)負荷，這種架構(gòu)的優(yōu)點在于引入了消息隊列機制，均衡了網(wǎng)絡(luò)傳輸，從而降低了網(wǎng)絡(luò)閉塞尤其是丟失數(shù)據(jù)的可能性，但依然存在Logstash占用系統(tǒng)資源過多的問題。

第三種架構(gòu)，引入了Logstash-forwarder。首先，Logstash-forwarder將日志數(shù)據(jù)搜集并統(tǒng)一發(fā)送給主節(jié)點上的Logstash，Logstash分析、過濾日志數(shù)據(jù)后發(fā)送至Elasticsearch存儲，并由Kibana最終將數(shù)據(jù)呈現(xiàn)給用戶。這種架構(gòu)解決了Logstash在各計算機點上占用系統(tǒng)資源較高的問題。經(jīng)測試得出，相比Logstash，Logstash-forwarder所占用系統(tǒng)CPU和MEM幾乎可以忽略不計。另外，Logstash-forwarder和Logstash間的通信是通過SSL加密傳輸，起到了安全保障。如果是較大集群，用戶亦可以如結(jié)構(gòu)三那樣配置logstash集群和Elasticsearch集群，引入High Available機制，提高數(shù)據(jù)傳輸和存儲安全。更主要的配置多個Elasticsearch服務(wù)，有助于搜索和數(shù)據(jù)存儲效率。但在此種架構(gòu)下發(fā)現(xiàn)Logstash-forwarder和Logstash間通信必須由SSL加密傳輸，這樣便有了一定的限制性。

第四種架構(gòu)，將Logstash-forwarder替換為Beats。經(jīng)測試，Beats滿負荷狀態(tài)所耗系統(tǒng)資源和Logstash-forwarder相當，但其擴展性和靈活性有很大提高。Beats platform目前包含有Packagebeat、Topbeat和Filebeat三個產(chǎn)品，均為Apache 2.0 License。同時用戶可根據(jù)需要進行二次開發(fā)。這種架構(gòu)原理基于第三種架構(gòu)，但是更靈活，擴展性更強。同時可配置Logstash 和Elasticsearch 集群用于支持大集群系統(tǒng)的運維日志數(shù)據(jù)監(jiān)控和查詢。

系統(tǒng)架構(gòu)一個例子：MySQL日志審計系統(tǒng)

MySQL日志審計系統(tǒng)，采用percona audit插件審計MySQL的訪問情況，結(jié)果記錄到指定文件中。通過Rsyslog將每個MySQL審計日志集中到Rsyslog Server的指定目錄中，使用filebeat監(jiān)控文件變化，上報到kafka。使用Logstash消費數(shù)據(jù)，把數(shù)據(jù)過濾切割后，寫入ES中，用戶通過kibana查詢相關(guān)數(shù)據(jù)。

系統(tǒng)架構(gòu)圖如下：

由于使用Percona版本的MySQL Server，因此審計采用Percona的審計插件。為了避免消耗過多性能，審計日志只記錄連接情況，輸出到文件中。

收集到的審計日志，通過Rsyslog的imfile模塊，采集審計日志，發(fā)送到Rsyslog Server上統(tǒng)一存儲。

Rsyslog上接收到的文件，通過filebeat上報kafka。之后，Logstash負責(zé)消費kafka的數(shù)據(jù)，過濾切割后，寫入到ES中。

用戶可以在kibana中查詢自己所需的數(shù)據(jù)，如下圖：

上述就是小編為大家分享的如何進行基于Elastic Stack的海量日志分析平臺實踐了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)頁名稱：如何進行基于ElasticStack的海量日志分析平臺實踐
路徑分享：http://weahome.cn/article/jgeeio.html

真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

如何進行基于ElasticStack的海量日志分析平臺實踐

其他資訊

網(wǎng)站制作

企業(yè)服務(wù)

網(wǎng)站建設(shè)

服務(wù)器托管