這篇文章主要為大家展示了“如何以本地和偽分布式模式安裝Hadoop”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“如何以本地和偽分布式模式安裝Hadoop”這篇文章吧。

竹溪網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)公司！從網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、APP開發(fā)、自適應網(wǎng)站建設等網(wǎng)站項目制作，到程序開發(fā)，運營維護。創(chuàng)新互聯(lián)公司于2013年創(chuàng)立到現(xiàn)在10年的時間，我們擁有了豐富的建站經驗和運維經驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設就選創(chuàng)新互聯(lián)公司。

一、預備知識

a) 支持平臺

l GNU/Linux的開發(fā)平臺和生產平臺都支持。

l Windows也支持（不推薦，這篇文章也不講）。

b) 必須的軟件

i. hadoop是java開發(fā)的，所以必須安裝java環(huán)境。

ii. 需要啟動sshd服務，hadoop要通過ssh管理遠程守護進程。

c) 安裝軟件

如果你的集群沒有安裝上面所說的軟件，你首先需要安裝它們。

i. 安裝java。

ii. 安裝ssh。

二、下載

  下載hadoop2.4版本。

三、準備啟動hadoop

解壓下載的hadoop壓縮包。編輯文件etc/hadoop/hadoop-env.sh。添加或定義下面兩個參數(shù)：

#設置java安裝目錄
export JAVA_HOME=/usr/java/jdk_***
#設置你的hadoop安裝目錄
export HADOOP_PREFIX=/usr/local/hadoop

使用下面的命令進行驗證：

bin/hadoop

如果設置成功會顯示hadoop命令的使用文檔。

現(xiàn)在你能夠使用下面三種方式安裝你的hadoop集群了。

l 本地模式

l 偽分布模式

l 分布模式

四、本地模式

Hadoop默認配置就是本地模式，在一個java進程中允許hadoop。這中模式常用來進行調試。

用下面的方式進行驗證一下：

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output 'dfs[a-z.]+'

如果output中有結果就對了。

cat output/*

五、偽分布模式

Hadoop也可以在一個單節(jié)點上一以偽分布的方式運行。Hadoop的每個守護進程分別以不同的java進程運行。

a) 配置

etc/hadoop/core-site.xml:

    
        fs.defaultFS
        hdfs://localhost:9000
    

etc/hadoop/hdfs-site.xml:

    
        dfs.replication
        1
    

b) Ssh免密碼登錄

l Ssh免密碼登錄

c) 啟動

下面的例子是在本地運行mapreduce程序，如果你想在yarn上運行mapreduce，請看yarn單節(jié)點安裝。

i. 格式化文件系統(tǒng)。

bin/hdfs namenode -format

ii. 啟動namenode守護進程和datanode守護進程：

sbin/start-dfs.sh

Hadoop守護進程日志輸出目錄通過$HADOOP_LOG_DIR指定（默認為$HADOOP_HOME/logs）

iii. 通過瀏覽器瀏覽namenode：

http://localhost:50070/

iv. 在hdfs上創(chuàng)建文件夾,用來執(zhí)行mapreduce程序。

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/

v. 復制文件到hdfs上：

bin/hdfs dfs -put etc/hadoop input

vi. 運行示例程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output 'dfs[a-z.]+'

vii. 檢查輸出文件

bin/hdfs dfs -cat output/*

viii. 關閉hdfs守護進程。

sbin/stop-dfs.sh

六、Yarn單點安裝

通過設置一些參數(shù)，并運行ResourceManagers守護進程和NodeManager守護進程。我們也可以在yarn上以偽分布模式運行mapreducer任務。

a) 配置

etc/hadoop/mapred-side.xml

    
        mapreduce.framework.name
        yarn
    

     etc/hadoop/yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

b) 啟動ResourceManager守護進程和NodeManager 守護進程。

sbin/start-yarn.sh

c) 通過瀏覽器查看ResourceManager：

http://localhost:8088/

d) 運行mapreduce任務。

e) 運行完任務的時候，關閉守護進程

sbin/stop-yarn.sh

以上是“如何以本地和偽分布式模式安裝Hadoop”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道！