Hadoop偽分布式集群搭建總結(jié)

一、所需軟件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
二、安裝
注意：
對(duì)文件進(jìn)行編輯：輸入a，表示對(duì)該文件進(jìn)行編輯，最后保存該文件，操作為：點(diǎn)擊鍵盤(pán)上的Esc按鈕，然后輸入英文的:字符，再輸入wq，點(diǎn)擊回車(chē)，完成文件的保存。
1、關(guān)閉防火墻和禁用SELINUX
（1）、永久關(guān)閉防火墻，重啟Linux系統(tǒng)

（2) 、禁用SELINUX：修改文件參數(shù) 重啟Linux使其生效

（3）、檢查防火墻是否運(yùn)行，顯示下圖即為關(guān)閉

2、配置hostname與IP地址之間的對(duì)應(yīng)關(guān)系
（1）、查看自己的IP

（2）、查看自己的hostname

（3）、配置對(duì)應(yīng)關(guān)系

注意：IP與hostname之間有空格
3、創(chuàng)建用戶(hù)
（1），創(chuàng)建hadoop用戶(hù)

（2）、為hadoop用戶(hù)設(shè)置密碼

4、配置 SSH免密登錄
（1）、檢查自己系統(tǒng)是否安裝SSH

注意：若沒(méi)安裝SSH則在有網(wǎng)的情況下可輸入：yum install openssh-server 進(jìn)行安裝。
（2）、為hadoop用戶(hù)配置SSH免密登錄

注意：一定要切換到hadoop用戶(hù)下并進(jìn)入“~”目錄！

注意：輸入ssh-keygen -t rsa后一直回車(chē)即可！
然后進(jìn)入.ssh目錄進(jìn)行以下操作

注意：“authorized_keys”一定要準(zhǔn)確！**``**
進(jìn)入“~”目錄為.ssh目錄及其文件賦予相應(yīng)權(quán)限

創(chuàng)新互聯(lián)建站堅(jiān)信：善待客戶(hù)，將會(huì)成為終身客戶(hù)。我們能堅(jiān)持多年，是因?yàn)槲覀円恢笨芍档眯刨?lài)。我們從不忽悠初訪(fǎng)客戶(hù)，我們用心做好本職工作，不忘初心，方得始終。10余年網(wǎng)站建設(shè)經(jīng)驗(yàn)創(chuàng)新互聯(lián)建站是成都老牌網(wǎng)站營(yíng)銷(xiāo)服務(wù)商,為您提供網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、網(wǎng)站設(shè)計(jì)、html5、網(wǎng)站制作、品牌網(wǎng)站制作、小程序定制開(kāi)發(fā)服務(wù),給眾多知名企業(yè)提供過(guò)好品質(zhì)的建站服務(wù)。

5、JDK安裝
（1）、創(chuàng)建存放軟件目錄

（2）、上傳解壓jdk

注意：確保紅框內(nèi)權(quán)限為hadoop的！如果為root，可進(jìn)入root用戶(hù)修改為hadoop， 命令為:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,然后重新進(jìn)入hadoop用戶(hù)進(jìn)行解壓
（3）、為jdk1.8.0_211創(chuàng)建軟連接

（4）、配置bashrc文件

使配置文件生效

（5）、驗(yàn)證JDK是否安裝成功，顯示下圖即為成功

6、hadoop安裝及配置
（1）、上傳解壓hadoop

注意：確保紅框內(nèi)權(quán)限為hadoop的！如果為root，可進(jìn)入root用戶(hù)修改為hadoop 命令為：chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,然后重新進(jìn)入hadoop用戶(hù)進(jìn)行解壓

（2）、進(jìn)入hadoop配置文件目錄進(jìn)行相應(yīng)文件配置

配置core-site.xml vi core-site.xml

注意：箭頭所指應(yīng)為自己的hostname
配置hdfs-site.xml vi hdfs-site.xml

配置hadoop-env.sh vi hadoop-env.sh

注意：此路徑為JDK的安裝目錄
配置mapred-site.xml vi mapred-site.xml

配置yarn-site.xml vi yarn-site.xml

配置slaves vi slaves

注意：此為自己的hostname
（3）、為hadoop-2.7.3創(chuàng)建軟連接

（4）、配置bashrc文件

使配置文件生效

（5）、創(chuàng)建hadoop相關(guān)數(shù)據(jù)目錄

（6）、格式化Namenode hadoop namenode -format

注意：出現(xiàn)以上2個(gè)信息即為成功！如果出現(xiàn)要輸入密碼等情況，檢查自己的SSH免密登錄是否配置正確?。。?/strong>
（7）、啟動(dòng)hadoop偽分布式集群

注意：出現(xiàn)以上信息輸入yes即可！??！
（8）、通過(guò)jps命令查看hadoop的啟動(dòng)進(jìn)程

注意：出現(xiàn)以上5個(gè)進(jìn)程即為hadoop偽分布式集群?jiǎn)?dòng)成功

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前題目：Hadoop偽分布式集群搭建總結(jié)-創(chuàng)新互聯(lián)
轉(zhuǎn)載注明：http://weahome.cn/article/iggps.html