作為運維工程師,我們每天需要對服務(wù)器進行故障排除,那么最先能幫助我們定位問題的就是查看服務(wù)器日志,通過日志可以快速的定位問題。目前我們說的日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運維和開發(fā)人員可以通過日志了解服務(wù)器軟硬件信息、檢查配置過程中的錯誤及錯誤發(fā)生的原因。經(jīng)常需要分析日志可以了解服務(wù)器的負荷,性能,安全性,從而及時采取措施糾正錯誤。而且日志被分散的儲存不同的設(shè)備上。
成都創(chuàng)新互聯(lián)專注于成都網(wǎng)站制作、做網(wǎng)站、網(wǎng)頁設(shè)計、網(wǎng)站制作、網(wǎng)站開發(fā)。公司秉持“客戶至上,用心服務(wù)”的宗旨,從客戶的利益和觀點出發(fā),讓客戶在網(wǎng)絡(luò)營銷中找到自己的駐足之地。尊重和關(guān)懷每一位客戶,用嚴謹?shù)膽B(tài)度對待客戶,用專業(yè)的服務(wù)創(chuàng)造價值,成為客戶值得信賴的朋友,為客戶解除后顧之憂。如果你管理數(shù)上百臺服務(wù)器,我們登錄到每臺機器的傳統(tǒng)方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理,例如:開源的syslog,將所有服務(wù)器上的日志收集匯總。
集中化管理日志后,日志的統(tǒng)計和檢索又成為一件比較麻煩的事情,一般我們使用find、grep、awk和wc等Linux命令能實現(xiàn)檢索和統(tǒng)計,但是對于要求更高的查詢、排序和統(tǒng)計等要求和龐大的機器數(shù)量依然使用這樣的方法難免有點力不從心。今天給大家分享的開源實時日志分析ELK平臺能夠完美的解決我們上述的問題,ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。
1)?Elasticsearch是個開源分布式搜索引擎,它的特點有:分布式,零配置,自動發(fā)現(xiàn),索引自動分片,索引副本機制,restful風(fēng)格接口,多數(shù)據(jù)源,自動搜索負載等,ELK官網(wǎng):https://www.elastic.co/
2)?Logstash是一個完全開源的工具,他可以對你的日志進行收集、過濾,并將其存儲供以后使用(如,搜索)。
3)?Kibana 也是一個開源和免費的工具,它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。
4)?Logstash和Elasticsearch是用Java語言編寫,而Kibana使用node.js框架,在配置ELK環(huán)境要保證系統(tǒng)有JAVA JDK開發(fā)庫。
ELK原理拓撲圖
1)?ELK工作流程
通過logstash收集客戶端APP的日志數(shù)據(jù),將所有的日志過濾出來,存入Elasticsearch 搜索引擎里,然后通過Kibana GUI在WEB前端展示給用戶,用戶需要可以進行查看指定的日志內(nèi)容。
同時也可以加入redis通信隊列:
圖一;
圖二;
2)??加入Redis隊列后工作流程
Logstash包含Index和Agent(shipper) ,Agent負責(zé)客戶端監(jiān)控和過濾日志,而Index負責(zé)收集日志并將日志交給ElasticSearch,ElasticSearch將日志存儲本地,建立索引、提供搜索,kibana可以從ES集群中獲取想要的日志信息。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。