這篇文章將為大家詳細講解有關(guān)hadoop如何部署,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。
我們一直強調(diào)成都網(wǎng)站制作、成都網(wǎng)站建設(shè)對于企業(yè)的重要性,如果您也覺得重要,那么就需要我們慎重對待,選擇一個安全靠譜的網(wǎng)站建設(shè)公司,企業(yè)網(wǎng)站我們建議是要么不做,要么就做好,讓網(wǎng)站能真正成為企業(yè)發(fā)展過程中的有力推手。專業(yè)網(wǎng)站建設(shè)公司不一定是大公司,創(chuàng)新互聯(lián)建站作為專業(yè)的網(wǎng)絡(luò)公司選擇我們就是放心。
Hadoop的三種模式:
Standalone Operation 單機模式 不開發(fā) 不生產(chǎn) 沒有進程
Pseudo-Distributed Operation 偽分布式 開發(fā) 不生產(chǎn) 獨立進程 但是只部署在1臺機器
Fully-Distributed Operation 分布式 開發(fā) 生產(chǎn) 獨立進程 但是只部署在n臺機器
部署:
1.解壓
命令:tar -xzvf hadoop-2.8.1.tar.gz
2.配置hosts文件
vi /etc/hosts 然后再尾部加上自己的IP和機器名字
如:
3.修改權(quán)限
4.配置文件
part1:
切換到hadoop用戶后再切換到我的hadoop資源目錄
從官網(wǎng)獲取配置代碼,添加到configuration配置里
更改localhost為我們自己的ID
part2:指令:vi etc/hadoop/hdfs-site.xml修改文件hdfs-site.xml
5.無密碼ssh
輸入指令ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
繼續(xù)執(zhí)行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
指令執(zhí)行完成后用ssh 192.168.137.252來檢查,如果結(jié)果仍然是自己的話就成功了。
這里可能會要給hadoop用戶設(shè)置進入密碼,可以去root用戶使用命令passwd hadoop(可以是你的hadoop用戶名)設(shè)定。
6.namenode格式化
首先切換用戶到hadoop用戶,然后我們跳轉(zhuǎn)到/opt/software/hadoop.... 即hadoop的文件目錄下了,輸入指令bin/hdfs namenode -format,此事如果報錯為(WARN net.DNS: Unable to determine local hostname -falling back to "localhost" java.net.UnknownHostException: ruozehadoop001.localdomain: ruozehadoop001.localdomain: unknown error
),我們需要進入文件/etc/sysconfig/network中,vi編輯它,變成如圖:
如果沒有報錯則結(jié)果為:
7.啟動
還是在hadoop文件目錄下vi進入文件vi etc/hadoop/hadoop-env.sh,按I修改文件尾部添加內(nèi)容為如圖:
輸入指令:sbin/start-dfs.sh得到如圖結(jié)果則為成功:
輸入JPS查看結(jié)果為:
關(guān)于“hadoop如何部署”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,使各位可以學到更多知識,如果覺得文章不錯,請把它分享出去讓更多的人看到。