這篇文章將為大家詳細(xì)講解有關(guān)Linux單機(jī)偽分布式安裝的示例分析，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)2013年至今，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元綏寧做網(wǎng)站,已為上家服務(wù),為綏寧各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

1、服務(wù)器信息

一臺(tái)linux服務(wù)器【Linux 5.5，x86_64，用于安裝hadoop】

2、需要軟件

jdk1.6.0_31

hadoop-2.2.0.tar.gz

3、建立ssh無(wú)密碼登錄

主要是每次啟動(dòng)hadoop時(shí)不用多次輸入登錄Linux操作系統(tǒng)密碼。

（1）實(shí)現(xiàn)無(wú)密碼登錄本機(jī)

$ ssh-keygen -t rsa

直接回車(chē)，會(huì)提示輸入存儲(chǔ)密碼的文件名，輸入id_rsa，完成后會(huì)在~/.ssh/生成兩個(gè)文件：id_rsa和id_rsa.pub。

$ ssh-keygen -t dsa

直接回車(chē)，會(huì)提示輸入存儲(chǔ)密碼的文件名，輸入id_dsa，完成后會(huì)在~/.ssh/生成兩個(gè)文件：id_dsa和id_dsa.pub。

$cat~/.ssh/id_rsa.pub  >>~/.ssh/authorized_keys  將生成的密鑰串在鑰匙鏈上

$cat~/.ssh/id_dsa.pub  >>~/.ssh/authorized_keys  將生成的密鑰串在鑰匙鏈上

$chmod 600  ~/.ssh/authorized_keys。

然后 ssh localhost 驗(yàn)證是否成功，第一次要你輸入yes，以后就不需要了。

4、安裝hadoop

保證待安裝hadoop的服務(wù)器上安裝jdk；

假設(shè)hadoop安裝在/home/username/hadoop目錄下(username為操作系統(tǒng)登錄用戶(hù))，以下統(tǒng)稱(chēng)hadoop安裝目錄。

（1）解壓hadoop-2.2.0.tar.gz到hadoop安裝目錄下。

（2）配置系統(tǒng)環(huán)境變量

可修改/etc/profile文件，在文件末尾添加如下內(nèi)容。本文是修改/home/username/.bash_profile，修改完后請(qǐng)重新登錄ssh。

exportHADOOP_PREFIX="/home/username/hadoop/hadoop-2.2.0"  

PATH="$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin"  

export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}  

export HADOOP_COMMON_HOME=${HADOOP_PREFIX}  

export HADOOP_HDFS_HOME=${HADOOP_PREFIX}  

export HADOOP_YARN_HOME=${HADOOP_PREFIX}

export HADOOP_CONF_DIR="${HADOOP_PREFIX}/etc/hadoop"

export YARN_CONF_DIR="${HADOOP_PREFIX}/etc/hadoop"

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native

exportHADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

（3）配置hadoop

需要修改以下配置文件：

hadoop-env.sh

修改JAVA_HOME，這里JAVA_HOME的路徑必須指定為真實(shí)的路徑，不能引用${JAVA_HOME}，否則運(yùn)行的時(shí)候會(huì)有錯(cuò)誤JAVA_HOME is not set。配置如下：

export JAVA_HOME=/usr/java/jdk1.6.0_26

core-site.xml

hdfs-site.xml

其中，/home/username/hadoop/dfs/name，/home/username/hadoop/dfs/data都是文件系統(tǒng)中的目錄，需要先新建。

mapred-site.xml

yarn-site.xml

注意yarn.nodemanager.aux-services屬性的值應(yīng)為mapreduce_shuffle，而不是mapreduce.shuffle（差別為“_”與“.”），否則會(huì)出現(xiàn)錯(cuò)誤。

5、啟動(dòng)hadoop

完成以上配置后可以檢測(cè)是否配置成功。

（1）格式化hadoop的文件系統(tǒng)HDFS

在啟動(dòng)hadoop之前，需要格式化hadoop的文件系統(tǒng)HDFS。進(jìn)入/home/username/hadoop/hadoop-2.2.0/bin文件夾，執(zhí)行以下命令進(jìn)行格式化：

$ hdfs namenode -format

（2）啟動(dòng)hadoop

格式化文件系統(tǒng)成功后，進(jìn)入/home/username/hadoop/hadoop-2.2.0/sbin目錄，啟動(dòng)hadoop。執(zhí)行以下命令：

$ start-all.sh   --此命令在hadoop2.2.0版本已被遺棄。

hadoop2.2.0推薦使用以下命令啟動(dòng)：

首先啟動(dòng)hdfs:

  $ start-dfs.sh

  或者

 $ hadoop-daemon.sh startnamenode

 $ hadoop-daemon.sh startdatanode

然后啟動(dòng)yarn daemons：

  $ start-yarn.sh

  或者

  $ yarn-daemon.sh startresourcemanager

  $ yarn-daemon.sh startnodemanager

啟動(dòng)完成后訪問(wèn)以下地址查看dfs狀態(tài)，如果成功會(huì)顯示對(duì)應(yīng)界面：

http://x.x.x.x:50070/dfshealth.jsp    HDFS的web界面

datanode:

http://x.x.x.x:50075/

resourcemanager（JobTracker replacement）：

http://x.x.x.x:8088/cluster     Web app /cluster

nodemanager（TaskTrackerreplacement）：

http://x.x.x.x:8042/node    Web app /node

關(guān)于“Linux單機(jī)偽分布式安裝的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。