這篇文章主要介紹“Hadoop的聯(lián)邦怎么創(chuàng)建”，在日常操作中，相信很多人在Hadoop的聯(lián)邦怎么創(chuàng)建問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop的聯(lián)邦怎么創(chuàng)建”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

公司主營業(yè)務：網(wǎng)站設計、成都做網(wǎng)站、移動網(wǎng)站開發(fā)等業(yè)務。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出都勻免費做網(wǎng)站回饋大家。

一、為什么會出現(xiàn)聯(lián)邦？

Hadoop 的 NN 所使用的資源受所在服務的物理限制，不能滿足實際生產需求。

二、聯(lián)邦的實現(xiàn)

采用多臺 NN 組成聯(lián)邦。NN 是獨立的，NN 之間不需要相互調用。NN 是聯(lián)合的，同屬于一個聯(lián)邦，所管理的 DN 作為 block 的公共存儲。block pool 的概念，每一個 namespace 都有一個 pool，datanodes 會存儲集群中所有的 pool，block pool 之間的管理是獨立的，一個 namespace 生成一個 blockid 時不需要跟其它 namespace 協(xié)調，一個 namenode 的失敗也不會影響到 datanode對其它 namenodes 的服務。一個 namespace 和它的 block pool 作為一個管理單元，刪除后，對應于datanodes 中的 pool 也會被刪除。集群升級時，這個管理單元也獨立升級。這里引入 clusterID 來標示集群所有節(jié)點。當一個 namenode format 之后，這個 id 生成，集群中其它 namenode 的 format 也用這個 id。

三、主要優(yōu)點：

命名空間可伸縮性——聯(lián)合添加命名空間水平擴展。DN 也隨著 NN 的加入而得到拓展。

性能——文件系統(tǒng)吞吐量不是受單個Namenode 限制。添加更多的Namenode集群擴展文件系統(tǒng)讀/寫吞吐量。

隔離——隔離不同類型的程序，一定程度上控制資源的分配

四、配置：

聯(lián)邦的配置是向后兼容的，允許在不改變任何配置的情況下讓當前運行的單節(jié)點環(huán)境轉換成聯(lián)邦環(huán)境。新的配置方案確保了在集群環(huán)境中的所有節(jié)點的配置文件都是相同的。這里引入了 NameServiceID 概念，作為 namenodes 們的后綴。第一步：配置屬性 dfs.nameservices，用于 datanodes 們識別 namenodes。第二步：為每個 namenode 加入這個后綴。

五、操作:

# 創(chuàng)建聯(lián)邦，不指定 ID 會自動生成

$HADOOP_HOME/bin/hdfs namenode -format [-clusterId ]

# 升級 Hadoop 為集群

$HADOOP_HOME/bin/hdfs start namenode --config $HADOOP_CONF_DIR

-upgrade -clusterId

# 擴展已有聯(lián)邦

$HADOOP_HOME/bin/hdfs dfsadmin -refreshNamenodes

：

# 退出聯(lián)邦

$HADOOP_HOME/sbin/distribute-exclude.sh

$HADOOP_HOME/sbin/refresh-namenodes.sh

什么是 CDH 下載地址 ： http：//archive.cloudera.com/cdh6/cdh/5/ CDH (Cloudera's Distribution， including Apache Hadoop)，是 Hadoop眾多分支中的一種，由 Cloudera 維護，基于穩(wěn)定版本的 Apache Hadoop 構建，并集成了很多補丁， 可直接用于生產環(huán)境。

CDH 的優(yōu)點： 版本劃分清晰

版本更新速度快

支持 Kerberos 安全認證文檔清晰

支持多種安裝方式（Cloudera Manager、YUM、RPM、Tarball） 什么是 CM Cloudera Manager? 是為了便于在集群中進行 Hadoop

等大數(shù)據(jù)處理相關的服務安裝和監(jiān)控管理的組件，對集群中主機、Hadoop、Hive、Spark 等服務的安裝配置管理做了極大簡化。
Cloudera Manager 有四大功能：

（1）管理：對集群進行管理，如添加、刪除節(jié)點等操作。

（2）監(jiān)控：監(jiān)控集群的健康情況，對設置的各種指標和系統(tǒng)運行情況進行全面監(jiān)控。

（3）診斷：對集群出現(xiàn)的問題進行診斷，對出現(xiàn)的問題給出建議解決方案。

（4）集成：對 hadoop 的多組件進行整合。

到此，關于“Hadoop的聯(lián)邦怎么創(chuàng)建”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
網(wǎng)站題目：Hadoop的聯(lián)邦怎么創(chuàng)建
路徑分享：http://weahome.cn/article/iiches.html