今天就跟大家聊聊有關(guān)Hadoop集群怎么構(gòu)建，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了鄞州免費(fèi)建站歡迎大家使用！

建立一個(gè)集群的安裝選項(xiàng)

• Apache tarball 二進(jìn)制包 安裝靈活，工作量大

• Packages 各個(gè)Linux 發(fā)行版提供的包

• 集群管理工具 Cloudera Manager 和Apache Ambari

集群規(guī)范

• Hadoop 運(yùn)行在商業(yè)硬件上

• 商業(yè)硬件并不等同于低端硬件

• 也不推薦使用大型的數(shù)據(jù)庫級別的機(jī)器，性價(jià)比太低。

• 一般使用多核CPU和多磁盤

• HDFS namenode 節(jié)點(diǎn)采用RAID, datanode 不建議使用RAID

• 集群規(guī)模

• 你的集群需要增長得多快？

• 網(wǎng)絡(luò)拓?fù)?

• DNSToSwitchMapping

集群的構(gòu)建和安裝

• 安裝Java

• 創(chuàng)建Unix 用戶賬號

• 解壓，額，最好不要放在home 目錄，因?yàn)閔ome目錄可能掛載在NFS上

• SSH 配置（分布式shell，公鑰共享）

• 配置Hadoop

• 格式化HDFS文件系統(tǒng)

• 啟動和停止守護(hù)進(jìn)程

• 創(chuàng)建用戶目錄

• 在本地機(jī)器上啟動一個(gè)資源管理器

• 在slaves 文件列舉的每臺機(jī)器上啟動一個(gè)節(jié)點(diǎn)管理器

• 在每臺機(jī)器上啟動一個(gè)namenode， 這些機(jī)器由執(zhí)行hdfs getconf -namenodes 得到的返回值所缺東

• 在slaves 文件列舉的每臺機(jī)器上啟動一個(gè)datanode

• 在每臺機(jī)器上啟動一個(gè)輔助namenode,這些機(jī)器由執(zhí)行 hdfs getconf -secondarynamenodes 得到的返回值所確定

• start-dfs.sh

• start-yarn.sh

• 此時(shí)是給目錄設(shè)置空間限制的好時(shí)機(jī)

• 最好創(chuàng)建特定的Unix 用戶賬號以區(qū)分各Hadoop進(jìn)程，及區(qū)分同一機(jī)器上的其他服務(wù)

• HDFS，MapReduce 和YARN服務(wù)通常作為獨(dú)立的用戶運(yùn)行，分別命名為hdfs,mapred 和yarn.他們都屬于同一hadoop組

• 安裝hadoop

Hadoop配置

• hadoop 分發(fā)包 etc/hadoop

• HADOOP_CONF_DIR

  hadoop-env.sh
  mapred-env.sh
  yarn-env.sh
  core-site.xml
  hdfs-site.xml
  mapred-site.xml
  yarn-site.xml
  slaves
  hadoop-metrics2.properties
  log4j.properties
  hadoop-policy.xml

• 配置管理

• 集群的每個(gè)節(jié)點(diǎn)都各自保存一系列配置文件，推薦使用控制

• 環(huán)境設(shè)置

      fs.defaultFS 
      dfs.namenode.name.dir
      dfs.datanode.data.dir
      dfs.namenode.checkpoint.dir

   

  守護(hù)進(jìn)程1000MB yarn.nodemanager.resource.memory-mb

  每個(gè)進(jìn)程占用一個(gè)核

• Hadoop守護(hù)進(jìn)程的地址和端口號

• yarn 和MapReduce 中的CPU設(shè)置

• 默認(rèn)情況下，HDFS存儲目錄放在 hadoop.tmp.dir 屬性設(shè)置的目錄下（/tmp/hadoop-${user.name}）,需要手動更改

• yarn 和MapReduce中的內(nèi)存設(shè)置

• 內(nèi)存堆大小 默認(rèn)各個(gè)守護(hù)進(jìn)程分配1000MB內(nèi)存

• 系統(tǒng)日志文件

• SSH設(shè)置

• hadoop 守護(hù)進(jìn)程的一些關(guān)鍵屬性

• hadoop其他屬性

• 緩沖區(qū) 大小 4kB

• HDFS 塊 128MB

• 回收站（額，神奇的東東）

安全性

• kerberos

• 委托令牌

看完上述內(nèi)容，你們對Hadoop集群怎么構(gòu)建有進(jìn)一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。