本篇內容介紹了“ubuntu怎么搭建hadoop環(huán)境”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設,臨潁企業(yè)網(wǎng)站建設,臨潁品牌網(wǎng)站建設,網(wǎng)站定制,臨潁網(wǎng)站建設報價,網(wǎng)絡營銷,網(wǎng)絡優(yōu)化,臨潁網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿,時刻以成就客戶成長自我,堅持不斷學習、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。
http://blog.sina.com.cn/s/blog_75f4e17c0101h6x4.html
http://www.cnblogs.com/end/archive/2012/08/13/2636645.html
1. Ubuntu 14.04
2. JDK 版本 1.8.0_25
3. Hadoop 版本 Hadoop-2.6.0
因為設備數(shù)量有限,所以在本地使用的是VMware Workstation虛擬機搭建的一個Ubuntu 32位桌面版本。網(wǎng)上資料很多就不多做詳述,需要花費些時間。
本地選擇的是 JDK 1.8.0_25下在地址為:http://www.oracle.com/technetwork/java/javase/downloads/index.html
下載好后放入指定位置(如/usr/java),使用如下命令安裝
tar zxvf jdk-xxx-linux-xxx.tar.gz |
(參考:http://docs.oracle.com/javase/7/docs/webnotes/install/linux/linux-jdk.html)
1.進入/etc目錄
2.將JDK配置信息加入profile文件
# The following configuration is for Java export JAVA_HOME=/usr/java/jdk1.8.0_25 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:JAVA_HOME/lib:$JAVA_HOME/jre/lib
3.使用下面組合命令使配置生效
chmod +x profile (這條命令需要超級權限) source profile |
4.使用下面,驗證JDK安裝
java -version |
如果安裝版本信息顯示則安裝成功
地址為:http://www.apache.org/dyn/closer.cgi/hadoop/common/
將下載下來的Hadoop放入指定目錄(/usr/hadoop),使用如下命令安裝
tar xzf hadoop-2.6.0.tar.gz |
1.linux profile(路徑:/etc)配置,如下圖
# The following configuration is for hadoop export HADOOP_INSTALL=/usr/hadoop/hadoop-2.6.0 export PATH=$PATH:$HADOOP_INSTALL/bin
2.hadoop-env.sh(路徑:$HADOOP_HOME/etc/hadoop)中把JAVA_HOME指向JDK安裝根目錄,如下
# The java implementation to use. export JAVA_HOME=/usr/java/jdk1.8.0_25
3.yarn-env.sh(路徑:$HADOOP_HOME/etc/hadoop)中把JAVA_HOME指向JDK安裝根目錄,如下
# some Java parameters export JAVA_HOME=/usr/java/jdk1.8.0_25
4.打開conf/core-site.xml(路徑:$HADOOP_HOME/etc/hadoop)文件,編輯如下:
fs.default.name hdfs://localhost:9000
5.打開conf/mapred-site.xml(路徑:$HADOOP_HOME/etc/hadoop)文件,編輯如下:
mapred.job.tracker localhost:9001
6.打開conf/hdfs-site.xml(路徑:$HADOOP_HOME/etc/hadoop)文件,編輯如下:
dfs.name.dir /usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2 dfs.data.dir /usr/local/hadoop/data1,/usr/local/hadoop/data2 dfs.replication 2
新版本啟動命令Apache推薦使用下面兩個命令
先進入$HADOOP_HOME/sbin下
1 ./start-dfs.sh
2 ./start-yarn.sh
另 ./start-all.sh依然可以使用,只是會提示“不推薦使用”,他內部分自動導向上面兩個shell腳本
啟動后如輸入jps可以看下圖信息,可以發(fā)現(xiàn)和1.x版本的區(qū)別,沒有了JobTracker和TaskTracker,由ResourceManager和NodeManager代替。而且你在sbin下可以看到多出了yarn的腳本!
若執(zhí)行jps后存在如下五個服務,說明hadoop單機環(huán)境配置成功。
Hadoop自帶服務測試
啟動完后,可用jps查看,可看到兩個服務己經啟動
啟動WebAppProxyServer服務,在命令行輸入如下命令:
$HADOOP_HOME/sbin/yarn-daemon.sh start proxyserver --config $HADOOP_CONF_DIR |
啟動JobHistoryServer服務,在命令行輸入如下命令:
$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR |
啟動完后可以使用下面三個連接進行查看
a.http://host:50070/dfshealth.jsp 打開NameNode web界面
b.http://host:19888/jobhistory 打開JobHistory web界面
c.http://host:8088/cluster 打開cluster web界面
啟動Hadoop自帶的map reduce程序
進入 $ HADOOP_HOME/share/hadoop/mapreduce輸入下面命令
hadoop jar hadoop-mapreduce-examples-2.6.0.jar pi 10 100 |
如果正常運行結束則OK
“ubuntu怎么搭建hadoop環(huán)境”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質量的實用文章!