這篇文章主要講解了“64位linux下的Hadoop分布式集群怎么配置”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“64位linux下的Hadoop分布式集群怎么配置”吧！

成都創(chuàng)新互聯(lián)公司從2013年創(chuàng)立，先為涇縣等服務(wù)建站，涇縣等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為涇縣企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

        搭建Hadoop總的來說分為以下步驟：

1. 檢查集群機(jī)子環(huán)境，準(zhǔn)備合適的Hadoop部署文件，一般有以下內(nèi)容：

1. 檢查Java安裝（一般不用自帶的openJDK，具體原因暫不清楚）；

2. 自編譯Hadoop 64位部署文件（32bit Hadoop部署文件在x64機(jī)子上會(huì)有些小問題）

3. 分布式環(huán)境下對(duì)機(jī)子進(jìn)行整理，羅列其ip（更改/ect/hosts文件需要），劃分其Master、Slaver職責(zé)（也可以劃分更細(xì)的ResourceManager、SecondNameNode等，一般來說每個(gè)機(jī)子都充分利用，均充當(dāng)DataNode）

4. “規(guī)劃”Hadoop文件夾結(jié)構(gòu)，包括安裝目錄、數(shù)據(jù)文件（hadoop_data）、臨時(shí)文件（hadoop_tmp）等；一般來說，建議一個(gè)hadoop x.x.0目錄下，分別設(shè)立hadoop x.x.0目錄（解壓的Hadoop部署文件存放位置）、hadoop-data（數(shù)據(jù)文件）、hadoop_tmp（臨時(shí)文件）；當(dāng)然這是筆者自己的實(shí)踐，如果不是“行業(yè)標(biāo)準(zhǔn)”，請(qǐng)勿見笑；

2. 配置運(yùn)行環(huán)境，這里指的是除Hadoop部署文件中配置文件之外的與系統(tǒng)相關(guān)的配置：

1. 修改/etc/hosts文件；

2. 對(duì)各Master-Slaver設(shè)置ssh無密碼訪問；

3. 配置Hadoop參數(shù)：

1. 對(duì){Hadoop_Home}/etc/hadoop/下的配置文件進(jìn)行修改，包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml，以及slaves文件（hadoop 2.2.0中無masters，參考 masters 和 slaves 文件）。

2. 初次安裝，參數(shù)盡量最小化配置，少配就行，之后集群優(yōu)化的工作多得是；

4. 配置支持lzo（這次正是太拘泥于細(xì)節(jié)，栽在了這個(gè)上面，其實(shí)分兩個(gè)步驟）：

1. 安裝lzo（因?yàn)榧盒枰鷏zo安裝目錄下的一些庫(kù)）；

2. 安裝hadoop-lzo（集群需要一些針對(duì)Hadoop的hadoop-lzo下的一些庫(kù)）；

3. lzop（可選，如果需要測(cè)試效果，可用該工具生成一些.lzo文件）

5. 啟動(dòng)集群：

1. 格式化NameNode：${Hadoop_Home}/bin/hdfs namenode –format

2. 一鍵式啟動(dòng)：${Hadoop_Home}/sbin/start-all.sh（該方法官方不建議使用，但還是能用：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh）

3. 檢查進(jìn)程狀況： jps（來自JDK的工具）

4. 細(xì)化步驟：

1. 開啟守護(hù)進(jìn)程

1. [hadoop@hadoop01 ~]$ hadoop-daemon.sh start namenode

2. [hadoop@hadoop01 ~]$ hadoop-daemon.sh start datanode

2. 開啟yarn守護(hù)進(jìn)程

1. [hadoop@hadoop01 ~]$ yarn-daemon.sh start resourcemanager

2. [hadoop@hadoop01 ~]$ yarn-daemon.sh start nodemanager

3. [hadoop@hadoop01 ~]$ start-yarn.sh

感謝各位的閱讀，以上就是“64位linux下的Hadoop分布式集群怎么配置”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)64位linux下的Hadoop分布式集群怎么配置這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！