Hadoop集群資源管理器是什么？它是如何為上層應(yīng)用提供資源管理和調(diào)度的呢？我們一起來看Apache Hadoop YARN的引入，為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來的巨大好處。

創(chuàng)新互聯(lián)建站專注于梅江網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供梅江營銷型網(wǎng)站建設(shè)，梅江網(wǎng)站制作、梅江網(wǎng)頁設(shè)計、梅江網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)服務(wù)，打造梅江網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供梅江網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

從開發(fā)人員來講提交作業(yè)（應(yīng)用）到Y(jié)ARN集群，通過YARN的UI來監(jiān)控和管理作業(yè)。Hadoop給開發(fā)員提供了三種主要YARN工具：（1）Hue Job Browser；（2）YARN Web UI；（3）YARN命令。YARN管理員可以使用Cloudera Manager，包含在Cloudera Express和ClouderaEnterprise中，對開發(fā)人員也有一些幫助。下面我們一起來看具體組件的作用：

（1）Hue Job Browser：可以監(jiān)控作業(yè)狀態(tài)、查看日志、殺掉作業(yè)

（2）YARN Web UI：Resource Manager UI是主要的入口點，運行在RM主機(jī)的8088端口，相比Hue，提供了更多明細(xì)視圖（可以查看每一個應(yīng)用下面的任務(wù)，任務(wù)里面有多少attempt，以及一些日志情況），但是它不提供任何控制或者配置。在這里我們看一下YARN Web UI的類別：

1)Resource Manager UI：Nodes

2)Resource Manager UI：Applications

3)ResourceManager UI：Application Detail

（3）YARN命令行

1）通過命令配置和查看關(guān)于YARN集群的信息

a)yarn

2）大多數(shù)YARN命令行工具是為管理員而不是開發(fā)員準(zhǔn)備的

3）一些對開發(fā)員有用的命令

b)yarn application,使用-list來查看運行的應(yīng)用,使用-kill來殺掉運行的應(yīng)用.

c)yarn logs–applicationId,查看特定應(yīng)用的日志

（4）Cloudera Manager

Cloudera Manager提供了強大地從單個節(jié)點監(jiān)控和配置集群的能力

YARN作為Hadoop的資源管理器，給集群的資源管理與共享帶來了便捷，但是我們必須明確YARN在實際應(yīng)用中的特點，才能夠更好的掌握和應(yīng)用。大數(shù)據(jù)由于當(dāng)下發(fā)展的需要，給每一位想要從事或者已經(jīng)從事大數(shù)據(jù)的人員提供了機(jī)遇和挑戰(zhàn)，我們不僅要多方位思考總結(jié)，還要借鑒和學(xué)習(xí)別人的經(jīng)驗，不斷地改善自己的知識架構(gòu)，才會取得更大的進(jìn)步。平時可以關(guān)注“大數(shù)據(jù)cn”這樣的微信資訊平臺，上面分享的大數(shù)據(jù)相關(guān)知識對于我們從業(yè)者來說，很新穎獨特，對開闊我們的視野，拓展我們的知識面，激發(fā)我們的思維都有著很好地幫助作用！