公司基礎(chǔ)架構(gòu)這邊想提取慢作業(yè)和獲悉資源浪費的情況，所以裝個dr elephant看看。LinkIn開源的系統(tǒng)，可以對基于yarn的mr和spark作業(yè)進行性能分析和調(diào)優(yōu)建議。

10年積累的成都做網(wǎng)站、網(wǎng)站建設(shè)經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先網(wǎng)站設(shè)計后付款的網(wǎng)站建設(shè)流程，更有遼中免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

DRE大部分基于java開發(fā)，spark監(jiān)控部分使用scala開發(fā)，使用play堆棧式框架。這是一個類似Python里面Django的框架，基于java?scala?沒太細了解，直接下來就能用，需要java1.8以上。

prerequest list:

Java 1.8

PlayFramework+activator

Nodejs+npm

scala+sbt

編譯服務(wù)器是設(shè)立在美國硅谷的某云主機，之前為了bigtop已經(jīng)裝好了java,maven,ant,scala,sbt等編譯工具，所以下載activator解壓放到/usr/local并加入PATH即可。

然后從 github clone一份dr-elephant下來，打開compile.conf，修改hadoop和spark版本為當(dāng)前使用版本，:wq保存退出，運行compile.sh進行編譯，經(jīng)過短暫的等待之后，因為美國服務(wù)器，下依賴快。會有個dist文件夾，里面會打包一個dr-elephant-2.0.x.zip，拷出來解壓縮就可以用了。

DRE本身需要mysql 5.5以上支持，或者mariadb最新的10.1穩(wěn)定版本亦可。這里會有一個問題，就是在DRE/conf/evolutions/default/1.sql里面的這三行：

create index yarn_app_result_i4 on yarn_app_result (flow_exec_id); create index yarn_app_result_i5 on yarn_app_result (job_def_id); create index yarn_app_result_i6 on yarn_app_result (flow_def_id);

由于在某些數(shù)據(jù)庫情況下，索引長度會超過數(shù)據(jù)庫本身的限制，所以，需要修改索引長度來避免無法啟動的情況發(fā)生。

create index yarn_app_result_i4 on yarn_app_result (flow_exec_id(150)); create index yarn_app_result_i5 on yarn_app_result (job_def_id(150)); create index yarn_app_result_i6 on yarn_app_result (flow_def_id(150));

然后就應(yīng)該沒啥問題了。

到數(shù)據(jù)庫里創(chuàng)建一個叫drelephant的數(shù)據(jù)庫，并給出相關(guān)訪問權(quán)限用戶

接下來是需要配置DRE：

打開app-conf/elephant.conf

# Play application server port # 啟動dre后play框架監(jiān)聽的web端口 port=8080 # Database configuration # 數(shù)據(jù)庫主機，用戶名密碼庫名 db_url=localhost db_name=drelephant db_user="root" db_password=

其他默認即可，不需更改

然后是GeneralConf.xml

       drelephant.analysis.thread.count     3     Number of threads to analyze the completed jobs           drelephant.analysis.fetch.interval     60000     Interval between fetches in milliseconds           drelephant.analysis.retry.interval     60000     Interval between retries in milliseconds           drelephant.application.search.match.partial     true     If this property is "false", search will only make exact matches   

修改drelephant.analysis.thread.count，默認是3，建議修改到10，3的話從jobhistoryserver讀取的速度太慢，高于10的話又讀取的太快，會對jobhistoryserver造成很大壓力。下面兩個一個是讀取的時間周期，一個是重試讀取的間隔時間周期。

然后到bin下執(zhí)行start.sh啟動。And then, show smile to the yellow elephant。

裝完看了一下這個東西，其實本身原理并不復(fù)雜，就是讀取各種jmx，metrics，日志信息，自己寫一個也不是沒有可能。功能主要是把作業(yè)信息里的內(nèi)容匯總放到一屏里面顯示，省的在JHS的頁面里一個一個點了。

That's it, so easy

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享名稱：Hadoop監(jiān)控分析工具Dr.Elephant-創(chuàng)新互聯(lián)
本文地址：http://weahome.cn/article/dgchco.html