真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

hadoop2.5.2的安裝過程

本篇內(nèi)容介紹了“hadoop2.5.2的安裝過程”的有關(guān)知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!

我們提供的服務(wù)有:網(wǎng)站制作、成都網(wǎng)站建設(shè)、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、汝陽ssl等。為近千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù),是有科學(xué)管理、有技術(shù)的汝陽網(wǎng)站制作公司

 安裝之前,想好自己的安裝順序,我的安裝順序

        1 確定安裝集群的數(shù)量和namenode,datanode分配,然后修改對應(yīng)的osts配置文件

        2 讓集群之間實現(xiàn)ssh無密碼登陸(hadoop集群中,namenode節(jié)點需要能夠ssh無密碼訪問datanode節(jié)點)

        3 配置詳細(xì)環(huán)境,主要為jdk包和hadoop包

 本章主要介紹安裝過程,詳細(xì)的配置文檔請點擊 --》http://my.oschina.net/u/259463/blog/514008

1 修改/etc/hosts 文件
          192.168.1.100 nameNode
          192.168.1.101 dataNode1
          192.168.1.102 dataNode2
 將集群中的機(jī)器添加到hosts中

2 實現(xiàn)SSH無密碼驗證配置
          注:1 hadoop 集群中,nameNode節(jié)點,需要能夠ssh 無密碼訪問dataNode節(jié)點
                 2 多臺機(jī)器需要重復(fù)操作 2),3) ,4)過程
      1)首先 nameNode節(jié)點生成公鑰
              輸入: ssh-keygen -t rsa 
                生成過程中有三次要求回車(基本全部回車不用設(shè)置)
                        1 采用默認(rèn)文件保存鑰匙
                        2 鍵入密碼短語,如果建立至少5個字符
                        3 重復(fù)密碼短語
      2)將生成的密鑰拷貝到daataNode節(jié)點中(如果是非root用戶,就是/home下該用戶的主目錄)
               輸入: cd /root/.ssh
                          scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
        中間要求輸入對應(yīng)機(jī)器的密碼,輸入就行
   3)檢查datanode機(jī)器authorized_keys的權(quán)限,確保為644(-rw-r--r--),如果不是,則修改權(quán)限,命令如下 chmod 644 authorized_keys
4)測試 ssh 192.168.1.101

 3 安裝Jdk
   1) 這是格式為.bin的jdk
       jdk-6u45-linux-i586.bin復(fù)制到/usr/java文件夾下,在/usr/java文件夾下執(zhí)行./jdk-6u45-linux-i586.bin
   2) 常見安裝包為 jdk-7-linux-i586.tar.gz
        tar zvxf jdk-7-linux-i586.tar.gz /usr/java

  打開/etc/profile,在文件最后添加
  export JAVA_HOME=/usr/java/jdk1.7.0_23
  export PATH=$JAVA_HOME/bin:$PATH
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  可以執(zhí)行source profile(在/etc/文件夾下)快速生效
     輸入java -version測試

 4 安裝hadoop
          hadoop-2.5.2
    同jdk安裝,將下載好的hadoop壓縮包解壓
               例:tar  -zxvf hadoop-2.5.2.tar.gz /home/hadoop
   同樣在環(huán)境變量文件中添加對應(yīng)的環(huán)境變量
      打開/etc/profile,在文件最后添加
  ###set hadoop_env
  export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_YARN_HOME=$HADOOP_HOME
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"
 
   執(zhí)行source profile(在/etc/文件夾下)快速生效

 5 配置hadoop需要的配置文件

        詳情請看 http://my.oschina.net/u/259463/blog/514008

 5  用scp 命令將hadoop文件夾拷貝到所有的節(jié)點機(jī)器相同路徑上。

         例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop 

              -r 為文件夾里面所有文件  root為復(fù)制電腦的用戶名,后面接的為IP請見上面hosts配置文件,后面跟的是復(fù)制到的路徑

 6 要確認(rèn)防火墻的配置,或者直接關(guān)閉

       /etc/init.d/iptables status 本次關(guān)閉為  /etc/init.d/iptables stop 其他請百度

 7 啟動測試

      先格式化 namenode  方法為: ./bin/hadoop namenode -format

      如果格式化因為其他問題報錯,或者不是第一次格式化 請將core-site.xml 配置文件中hadoop.tmp.dir tmp文件夾刪除。

    如果輸出出現(xiàn)(基本倒數(shù)幾行里面) : /hadoop-2.5.2/hdfs/name has been successfully formatted  說明成功,報錯就需要自己百度google查找問題

 8 然后將hdfs yarn啟動

      sbin/start-dfs.sh
      sbin/start-yarn.sh

 9 啟動成功后 可進(jìn)行瀏覽器訪問

http://192.168.1.100:50070/

http://192.168.1.100:8088/   都沒有問題就說明hadoop和jdk安裝成功。。然后開搞吧

“hadoop2.5.2的安裝過程”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實用文章!


當(dāng)前文章:hadoop2.5.2的安裝過程
網(wǎng)頁地址:http://weahome.cn/article/piiise.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部