這篇文章主要介紹Apache Hudi如何集成Prometheus/Pushgateway進(jìn)行監(jiān)控,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括平度網(wǎng)站建設(shè)、平度網(wǎng)站制作、平度網(wǎng)頁制作以及平度網(wǎng)絡(luò)營銷策劃等。多年來,我們專注于互聯(lián)網(wǎng)行業(yè),利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等,向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案,平度網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前,我們服務(wù)的客戶以成都為中心已經(jīng)輻射到平度省份的部分城市,未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任!
在Hudi最新master分支,prometheus監(jiān)控Hudi應(yīng)用指標(biāo),該功能將在即將發(fā)布的0.6.0 版本中可用。
prometheus是一個(gè)流行的監(jiān)控服務(wù)。在即將發(fā)布的Apache Hudi 0.6.0
版本中,除已有的報(bào)告者類型(Graphite、JMX、DATADOG、用戶自定義指標(biāo))之外,我們將引入通過pushgateway和httpserver方式報(bào)告Hudi指標(biāo)的功能。
類似于其他支持的報(bào)告者,啟用pushgateway報(bào)告者需要配置以下屬性。
hoodie.metrics.on=true
hoodie.metrics.reporter.type=PROMETHEUS_PUSHGATEWAY
下面的屬性用來配置pushgateway 的地址和端口號(hào)。地址默認(rèn)是localhost,端口默認(rèn)是9091
hoodie.metrics.pushgateway.host=x.x.x.x
hoodie.metrics.pushgateway.port=9091
下面屬性用來配置任務(wù)結(jié)束時(shí)候是否將監(jiān)控信息從pushgateway刪除,默認(rèn)是true
hoodie.metrics.pushgateway.delete.on.shutdown=false
下面屬性用來配置任務(wù)名稱前綴、是否需要隨機(jī)的后綴,默認(rèn)是true
hoodie.metrics.pushgateway.job.name=xiaomm
hoodie.metrics.pushgateway.random.job.name.suffix=false
下面屬性用來配置任務(wù)結(jié)束時(shí)候是否將監(jiān)控信息從pushgateway刪除,默認(rèn)是true
hoodie.metrics.pushgateway.delete.on.shutdown=false
hoodie.metrics.on=true
hoodie.metrics.reporter.type=PROMETHEUS
hoodie.metrics.reporter.host=9090
至此配置介紹結(jié)束
在這個(gè)示例中,我們運(yùn)行了一個(gè) HoodieDeltaStreamer
,啟用了指標(biāo)收集并做了相應(yīng)的配置。
以上是“Apache Hudi如何集成Prometheus/Pushgateway進(jìn)行監(jiān)控”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!