這篇文章主要介紹了Hadoop中yarn和mapreduce的示例分析，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)是一家專業(yè)提供鳳山企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為鳳山眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

1. 準(zhǔn)備Linux環(huán)境
       1.0點(diǎn)擊VMware快捷方式，右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設(shè)置網(wǎng)段：192.168.1.0 子網(wǎng)掩碼：255.255.255.0 -> apply -> ok
           回到windows --> 打開網(wǎng)絡(luò)和共享中心 -> 更改適配器設(shè)置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設(shè)置windows的IP：192.168.1.100 子網(wǎng)掩碼：255.255.255.0 -> 點(diǎn)擊確定
           在虛擬軟件上 --My Computer -> 選中虛擬機(jī) -> 右鍵 -> settings -> network adapter -> host only -> ok    
       1.1修改主機(jī)名
           vim /etc/sysconfig/network
           
           NETWORKING=yes
           HOSTNAME=itcast    ###
   
       1.2修改IP
           兩種方式：
           第一種：通過Linux圖形界面進(jìn)行修改（強(qiáng)烈推薦）
               進(jìn)入Linux圖形界面 -> 右鍵點(diǎn)擊右上方的兩個(gè)小電腦 -> 點(diǎn)擊Edit connections -> 選中當(dāng)前網(wǎng)絡(luò)System eth0 -> 點(diǎn)擊edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點(diǎn)擊add按鈕 -> 添加IP：192.168.1.101 子網(wǎng)掩碼：255.255.255.0 網(wǎng)關(guān)：192.168.1.1 -> apply
       
           第二種：修改配置文件方式（屌絲程序猿專用）
               vim /etc/sysconfig/network-scripts/ifcfg-eth0
               
               DEVICE="eth0"
               BOOTPROTO="static"               ###
               HWADDR="00:0C:29:3C:BF:E7"
               IPV6INIT="yes"
               NM_CONTROLLED="yes"
               ONBOOT="yes"
               TYPE="Ethernet"
               UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
               IPADDR="192.168.1.101"           ###
               NETMASK="255.255.255.0"          ###
               GATEWAY="192.168.1.1"            ###
               
       1.3修改主機(jī)名和IP的映射關(guān)系
           vim /etc/hosts
               
           192.168.1.101    hadoop02    
       1.4關(guān)閉防火墻
           #查看防火墻狀態(tài)
           service iptables status
           #關(guān)閉防火墻
           service iptables stop
           #查看防火墻開機(jī)啟動(dòng)狀態(tài)
           chkconfig iptables --list
           #關(guān)閉防火墻開機(jī)啟動(dòng)
           chkconfig iptables off
       
       1.5重啟Linux
           reboot
   
   2.安裝JDK
       2.1上傳alt+p 后出現(xiàn)sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz
       
       2.2解壓jdk
           #創(chuàng)建文件夾
           mkdir /home/hadoop/app
           #解壓
           tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
           
       2.3將java添加到環(huán)境變量中
           vim /etc/profile
           #在文件最后添加
           export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
           export PATH=$PATH:$JAVA_HOME/bin
       
           #刷新配置
           source /etc/profile
           
   3.安裝hadoop2.4.1
       先上傳hadoop的安裝包到服務(wù)器上去/home/hadoop/（注意32位和64位的區(qū)別）

      cp hadoop-2.4.1.tar.gz /home/hadoop/

      cd  /home/hadoop/

      tar -zxvf hadoop-2.4.1.tar.gz

   [root@hadoop02 hadoop]# cd hadoop-2.4.1
   [root@hadoop02 hadoop-2.4.1]# cd etc
   [root@hadoop02 etc]# cd hadoop
       偽分布式需要修改5個(gè)配置文件
       3.1配置hadoop
       第一個(gè)：hadoop-env.sh
           vim hadoop-env.sh
           #第27行
           export JAVA_HOME=/usr/lib/java/java-7-sun
           
       第二個(gè)：core-site.xml
   
           
           
               fs.defaultFS
               hdfs://hadoop02:9000
           
           
           
               hadoop.tmp.dir
               /home/hadoop/hadoop-2.4.1/tmp
      
           
       第三個(gè)：hdfs-site.xml   hdfs-default.xml  (3)
           
           
               dfs.replication
               1
      
           
       第四個(gè)：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
           mv mapred-site.xml.template mapred-site.xml
           vim mapred-site.xml
           
           
               mapreduce.framework.name
               yarn
                  
           
       第五個(gè)：yarn-site.xml
           
           
               yarn.resourcemanager.hostname
               hadoop0
      
           
      
               yarn.nodemanager.aux-services
               mapreduce_shuffle
       
            
       3.2將hadoop添加到環(huán)境變量
       
       vim /etc/profile
           export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
           export HADOOP_HOME=/home/hadoop/hadoop-2.4.1
           export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   
       source /etc/profile
       
       3.3格式化namenode（是對(duì)namenode進(jìn)行初始化）
           hdfs namenode -format (hadoop namenode -format)
           
       3.4啟動(dòng)hadoop
           先啟動(dòng)HDFS

       [root@hadoop02 hadoop]# cd   /home/hadoop/hadoop-2.4.1

   
           sbin/start-dfs.sh
           
           再啟動(dòng)YARN
           sbin/start-yarn.sh
           
       3.5驗(yàn)證是否啟動(dòng)成功
           使用jps命令驗(yàn)證
           27408 NameNode
           28218 Jps
           27643 SecondaryNameNode
           28066 NodeManager
           27803 ResourceManager
           27512 DataNode
       
           http://192.168.1.101:50070 （HDFS管理界面）
           http://192.168.1.101:8088 （MR管理界面）

2. 偽分布式集群的測(cè)試[root@hadoop02 hadoop-2.6.0]# hadoop fs -ls hdfs://hadoop02:9000/

   [root@hadoop02 hadoop]#cd /home/hadoop

   [root@hadoop02 hadoop]#hadoop fs -put hadoop-2.6.0-x64.tar.gz hdfs://hadoop02:9000/
   [root@hadoop02 hadoop]# hadoop fs -ls hdfs://hadoop02:9000/

3. -rw-r--r--   1 root supergroup  180197035 2015-12-01 05:06 hdfs://hadoop02:9000/hadoop-2.6.0-x64.tar.gz

4. 文件的存放目錄[root@hadoop02 subdir0]# pwd
   /home/hadoop/hadoop-2.6.0/tmp/dfs/data/current/BP-493792533-192.168.88.155-1448973412341/current/finalized/subdir0/subdir0

5. 下載文件hadoop fs -get  /hadoop-2.6.0-x64.tar.gz

   mappreduce程序測(cè)試

6. [root@hadoop02 subdir0]#/home/hadoop/hadoop-2.6.0/share/hadoop/mapreduce

7. [root@hadoop02 mapreduce]# vi test.data

   文件內(nèi)容如下

   hello tom
   hello jim
   hello  kitty
   hello  angelababy
   hello   dingcheng
   how are you .baby .do you have kong today wangshan?
   can you have supper with me?
   if you can't
   na sure you are gen xiaoming haave supper
   i will shengqi de

   [root@hadoop02 mapreduce]# hadoop fs -mkdir /wc
   [root@hadoop02 mapreduce]# hadoop fs -mkdir /wc/srcdata
    [root@hadoop02 mapreduce]# hadoop -put test.data /wc/srcdata
   [root@hadoop02 mapreduce]# hadoop fs -put test.data /wc/srcdata
   [root@hadoop02 mapreduce]# hadoop fs -ls /
    [root@hadoop02 mapreduce]#  hadoop fs -ls /wc/srcdata
   [root@hadoop02 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /wc/srcdata /wc/output
    [root@hadoop02 mapreduce]#  hadoop fs -ls /wc/output

8. hadoop fs -cat /wc/output/part-r-00000

9. hadoop fs#相當(dāng)于幫助命令
   

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Hadoop中yarn和mapreduce的示例分析”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!