這篇文章主要介紹“ganglia監(jiān)控hadoop集群的配置文件問(wèn)題分析”，在日常操作中，相信很多人在ganglia監(jiān)控hadoop集群的配置文件問(wèn)題分析問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”ganglia監(jiān)控hadoop集群的配置文件問(wèn)題分析”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

創(chuàng)新互聯(lián)長(zhǎng)期為上千多家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為特克斯企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)，特克斯網(wǎng)站改版等技術(shù)服務(wù)。擁有十余年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

ganglia 是監(jiān)控的hadoop 集群 的最佳系統(tǒng). 

安裝步驟就不寫了. 比較簡(jiǎn)單.  

主要說(shuō)下安裝過(guò)程, hadoop 的metrics 的配置問(wèn)題. 

hadoop-metrics2.properties  

如果采用默認(rèn)配置,  一般情況下, 你會(huì)苦不堪言. 

主要問(wèn)題是 默認(rèn)的把所有的metrics 監(jiān)控項(xiàng) 全部監(jiān)控出來(lái)了. 

那么就帶來(lái)了一個(gè)問(wèn)題.  

每個(gè)任務(wù), 會(huì)派生出 很多container  ,然后每個(gè)container 又有很多指標(biāo). 

因?yàn)橐恢泵χ然? 就沒有 截圖保留案底了. 

我統(tǒng)計(jì)一下 , 一個(gè)hadoo 節(jié)點(diǎn)  下面 關(guān)于container 的 rrd 文件就有11700+  

單個(gè)hadoop 節(jié)點(diǎn) 在一天內(nèi)的監(jiān)控?cái)?shù)據(jù) 大于 7.5GB . 

到什么情況呢, 在ganglia 里面已經(jīng)無(wú)法打開單個(gè)節(jié)點(diǎn)的監(jiān)控頁(yè)面了.  直接死了. 

同樣的hbase 的 hadoop-metrics2-hbase.properties  中也會(huì)涉及到

regionserver 的問(wèn)題. 每個(gè)節(jié)點(diǎn) 上有很多regions  ,然后每個(gè)region  都涉及到N多的metrics 監(jiān)控項(xiàng). 

然后導(dǎo)致rrd 文件暴漲.  效果跟前面一樣. 煩死人. 

怎么解決呢?  查文檔. 

在官方文檔里找到了一點(diǎn)答案. 然后就開始各種演繹. 

Class	Description
GlobFilter	A glob pattern filter for metrics.
RegexFilter	A regex pattern filter for metrics

正則表達(dá). 

Fields inherited from class org.apache.hadoop.metrics2.filter.AbstractPatternFilter

EXCLUDE_KEY, EXCLUDE_TAGS_KEY, INCLUDE_KEY, INCLUDE_TAGS_KEY

通過(guò)正則表達(dá) 可以限制某些metrics 監(jiān)控項(xiàng)的采集等等. 

到這里問(wèn)題基本就解決了. 

我列出來(lái)我的配置的監(jiān)控項(xiàng)做個(gè)示例: 

more  hadoop-metrics2-hbase.properties 

 hbase.sink.file-all.class=org.apache.hadoop.metrics2.sink.FileSink

 hbase.sink.file-all.filename=all.metrics

############################################################

*.period=10

*.sink.ganglia.period=10

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.source.filter.class=org.apache.hadoop.metrics2.filter.RegexFilter

*.record.filter.class=${*.source.filter.class}

*.metric.filter.class=${*.source.filter.class}

hbase.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

hbase.sink.ganglia.record.filter.exclude=Regions

hbase.sink.ganglia.source.filter.exclude=.*Regions.*

hbase.sink.ganglia.period=10

hbase.sink.ganglia.servers=gangliaserver:8649

more  hadoop-metrics2.properties 

################################################

*.period=10

*.sink.ganglia.period=10

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.source.filter.class=org.apache.hadoop.metrics2.filter.RegexFilter

*.record.filter.class=${*.source.filter.class}

*.metric.filter.class=${*.source.filter.class}

resourcemanager.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

resourcemanager.sink.ganglia.source.filter.exclude=.*_(container)*

resourcemanager.sink.ganglia.record.filter.exclude=container*

resourcemanager.sink.ganglia.source.filter.exclude=*.ontainerResource.*

nodemanager.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

nodemanager.sink.ganglia.source.filter.exclude=.*_(container)*

#nodeemanager.sink.ganglia.record.filter.exclude=*container.*

nodeemanager.sink.ganglia.record.filter.exclude=*container*

nodemanager.sink.ganglia.source.filter.exclude=*ontainerResource*

nodemanager.sink.ganglia.source.filter.exclude=*Containers*

mrappmaster.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

mrappmaster.sink.ganglia.source.filter.exclude=.*_(container)*

mrappmaster.sink.ganglia.record.filter.exclude=*container.*

mrappmaster.sink.ganglia.record.filter.exclude=*container*

mrappmaster.sink.ganglia.source.filter.exclude=*ontainerResource*

jobhistoryserver.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

jobhistoryserver.sink.ganglia.record.filter.exclude=*container.*

jobhistoryserver.sink.ganglia.record.filter.exclude=*container*

jobhistoryserver.sink.ganglia.source.filter.exclude=*ontainerResource*

##############################################################

到此，關(guān)于“ganglia監(jiān)控hadoop集群的配置文件問(wèn)題分析”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！

分享題目：ganglia監(jiān)控hadoop集群的配置文件問(wèn)題分析-創(chuàng)新互聯(lián)
轉(zhuǎn)載來(lái)源：http://weahome.cn/article/cshhpi.html