小編給大家分享一下hadoop單機(jī)版安裝及基本功能的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

我們提供的服務(wù)有：成都做網(wǎng)站、成都網(wǎng)站建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、保靖ssl等。為上1000+企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的保靖網(wǎng)站制作公司

hadoop單機(jī)版安裝

準(zhǔn)備工作

創(chuàng)建用戶

useradd -m hadoop
passwd hadoop

下載安裝包

1.jdk 到官方下載頁面http://www.oracle.com/technetwork/java/javase/downloads/index.html，下載jdk，我下載的版本為jdk-8u151-linux-x64.tar.gz。

2.hadoop安裝包 到hadoop官網(wǎng)下載hadoop的二進(jìn)制包，我使用的版本為：hadoop-2.7.5.tar.gz。

將jdk和hadoop的包上傳到linux上，路徑為：/home/hadoop。

hadoop安裝及配置

安裝

以hadoop用戶登錄，分別解壓jdk和hadoop的包。

tar -zxvf jdk-8u151-linux-x64.tar.gz
tar -zxvf hadoop-2.7.5.tar.gz

重命名hadoop的目錄

mv hadoop-2.7.5/ hadoop/

hadoop運行環(huán)境配置

進(jìn)入到hadoop的目錄/home/hadoop/hadoop vi etc/hadoop/hadoop-env.sh

設(shè)置jdk的路徑

# The java implementation to use.
export JAVA_HOME=/home/hadoop/jdk1.8.0_151

使用hadoop進(jìn)行單詞統(tǒng)計

創(chuàng)建輸入文件目錄及測試文件

mkdir input4test

vi input4test/1.txt
hadoop is an open-source software

vi input4test/2.txt
I want to learn hadoop

執(zhí)行單詞統(tǒng)計操作

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount ./input4test ./output4test

查看統(tǒng)計結(jié)果

cat output4test/part-r-00000

I	1
an	1
hadoop	2
is	1
learn	1
open-source	1
software	1
to	1
want	1

hdfs相關(guān)配置及操作

配置hdfs

進(jìn)入到hadoop的目錄/home/hadoop/hadoop 修改配置文件etc/hadoop/core-site.xml

    
        fs.defaultFS
        hdfs://localhost:9000
    

修改配置文件etc/hadoop/hdfs-site.xml

    
        dfs.replication
        1
    

設(shè)置免密碼登錄

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

hdfs格式化及啟動

1. hdfs格式化

bin/hdfs namenode -format

2. hdfs啟動

sbin/start-dfs.sh

3. 查看hdfs狀態(tài) 在瀏覽器中輸入http://IP:50070，可以查看hdfs的狀態(tài)。如果50070端口沒有打開，輸入下面命令打開50070端口。

iptables -I INPUT -p tcp --dport 50070 -j ACCEPT

hdfs基本操作

查看文件和文件夾

bin/hadoop dfs -ls -R /

該命令表示以遞歸方式查看根目錄下的所有文件和文件夾。

創(chuàng)建目錄

bin/hadoop dfs -mkdir /input

該命令表示在根目錄下創(chuàng)建input目錄。

上傳文件到hdfs

bin/hadoop hdfs -put input4test/1.txt /input/
bin/hadoop hdfs -put input4test/2.txt /input/

該命令表示將本地input4test/1.txt和2.txt文件上傳到hdfs中的/input目錄下。

###查看文件內(nèi)容

bin/hadoop dfs -cat  /input/1.txt

通過YARN調(diào)度

配置YARN

修改配置文件etc/hadoop/mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

修改配置文件etc/hadoop/yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

啟動YARN

sbin/start-yarn.sh

查看YARN狀態(tài)

在瀏覽器中輸入http://IP:8088，可以查看YARN的狀態(tài)。如果8088端口沒有打開，輸入下面命令打開8088端口。

iptables -I INPUT -p tcp --dport 8088 -j ACCEPT

再次執(zhí)行單詞統(tǒng)計操作

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /input /output

本次執(zhí)行的輸入和輸出目錄，都是hdfs的目錄。

查看統(tǒng)計結(jié)果

bin/hadoop dfs -cat /output/part-r-00000

和之前的結(jié)果一樣。

I	1
an	1
hadoop	2
is	1
learn	1
open-source	1
software	1
to	1
want	1

以上是“hadoop單機(jī)版安裝及基本功能的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！