本篇內(nèi)容介紹了“hadoop2.5.2的安裝過程”的有關(guān)知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
我們提供的服務(wù)有:網(wǎng)站制作、成都網(wǎng)站建設(shè)、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、汝陽ssl等。為近千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù),是有科學(xué)管理、有技術(shù)的汝陽網(wǎng)站制作公司
安裝之前,想好自己的安裝順序,我的安裝順序
1 確定安裝集群的數(shù)量和namenode,datanode分配,然后修改對應(yīng)的osts配置文件
2 讓集群之間實現(xiàn)ssh無密碼登陸(hadoop集群中,namenode節(jié)點需要能夠ssh無密碼訪問datanode節(jié)點)
3 配置詳細(xì)環(huán)境,主要為jdk包和hadoop包
本章主要介紹安裝過程,詳細(xì)的配置文檔請點擊 --》http://my.oschina.net/u/259463/blog/514008
1 修改/etc/hosts 文件
192.168.1.100 nameNode
192.168.1.101 dataNode1
192.168.1.102 dataNode2
將集群中的機(jī)器添加到hosts中
2 實現(xiàn)SSH無密碼驗證配置
注:1 hadoop 集群中,nameNode節(jié)點,需要能夠ssh 無密碼訪問dataNode節(jié)點
2 多臺機(jī)器需要重復(fù)操作 2),3) ,4)過程
1)首先 nameNode節(jié)點生成公鑰
輸入: ssh-keygen -t rsa
生成過程中有三次要求回車(基本全部回車不用設(shè)置)
1 采用默認(rèn)文件保存鑰匙
2 鍵入密碼短語,如果建立至少5個字符
3 重復(fù)密碼短語
2)將生成的密鑰拷貝到daataNode節(jié)點中(如果是非root用戶,就是/home下該用戶的主目錄)
輸入: cd /root/.ssh
scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
中間要求輸入對應(yīng)機(jī)器的密碼,輸入就行
3)檢查datanode機(jī)器authorized_keys的權(quán)限,確保為644(-rw-r--r--),如果不是,則修改權(quán)限,命令如下 chmod 644 authorized_keys
4)測試 ssh 192.168.1.101
3 安裝Jdk
1) 這是格式為.bin的jdk
jdk-6u45-linux-i586.bin復(fù)制到/usr/java文件夾下,在/usr/java文件夾下執(zhí)行./jdk-6u45-linux-i586.bin
2) 常見安裝包為 jdk-7-linux-i586.tar.gz
tar zvxf jdk-7-linux-i586.tar.gz /usr/java
打開/etc/profile,在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_23
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
可以執(zhí)行source profile(在/etc/文件夾下)快速生效
輸入java -version測試
4 安裝hadoop
hadoop-2.5.2
同jdk安裝,將下載好的hadoop壓縮包解壓
例:tar -zxvf hadoop-2.5.2.tar.gz /home/hadoop
同樣在環(huán)境變量文件中添加對應(yīng)的環(huán)境變量
打開/etc/profile,在文件最后添加
###set hadoop_env
export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"
執(zhí)行source profile(在/etc/文件夾下)快速生效
5 配置hadoop需要的配置文件
詳情請看 http://my.oschina.net/u/259463/blog/514008
5 用scp 命令將hadoop文件夾拷貝到所有的節(jié)點機(jī)器相同路徑上。
例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop
-r 為文件夾里面所有文件 root為復(fù)制電腦的用戶名,后面接的為IP請見上面hosts配置文件,后面跟的是復(fù)制到的路徑
6 要確認(rèn)防火墻的配置,或者直接關(guān)閉
/etc/init.d/iptables status 本次關(guān)閉為 /etc/init.d/iptables stop 其他請百度
7 啟動測試
先格式化 namenode 方法為: ./bin/hadoop namenode -format
如果格式化因為其他問題報錯,或者不是第一次格式化 請將core-site.xml 配置文件中hadoop.tmp.dir tmp文件夾刪除。
如果輸出出現(xiàn)(基本倒數(shù)幾行里面) : /hadoop-2.5.2/hdfs/name has been successfully formatted 說明成功,報錯就需要自己百度google查找問題
8 然后將hdfs yarn啟動
sbin/start-dfs.sh
sbin/start-yarn.sh
9 啟動成功后 可進(jìn)行瀏覽器訪問
http://192.168.1.100:50070/
http://192.168.1.100:8088/ 都沒有問題就說明hadoop和jdk安裝成功。。然后開搞吧
“hadoop2.5.2的安裝過程”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實用文章!