這篇文章主要介紹“Hadoop的安裝與環(huán)境搭建教程”,在日常操作中,相信很多人在Hadoop的安裝與環(huán)境搭建教程問(wèn)題上存在疑惑,小編查閱了各式資料,整理出簡(jiǎn)單好用的操作方法,希望對(duì)大家解答”Hadoop的安裝與環(huán)境搭建教程”的疑惑有所幫助!接下來(lái),請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧!
成都創(chuàng)新互聯(lián)公司專(zhuān)業(yè)為企業(yè)提供新鄉(xiāng)縣網(wǎng)站建設(shè)、新鄉(xiāng)縣做網(wǎng)站、新鄉(xiāng)縣網(wǎng)站設(shè)計(jì)、新鄉(xiāng)縣網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、新鄉(xiāng)縣企業(yè)網(wǎng)站模板建站服務(wù),十年新鄉(xiāng)縣做網(wǎng)站經(jīng)驗(yàn),不只是建網(wǎng)站,更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。
一、Hadoop的安裝
1. 下載地址:https://archive.apache.org/dist/hadoop/common/我下載的是hadoop-2.7.3.tar.gz版本。
2. 在/usr/local/ 創(chuàng)建文件夾zookeeper
mkdir hadoop
3.上傳文件到Linux上的/usr/local/source目錄下
3.解壓縮
運(yùn)行如下命令:
tar -zxvf hadoop-2.7.3.tar.gz-C /usr/local/hadoop
4. 修改配置文件
進(jìn)入到cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/
, 修改hadoop-env.sh
運(yùn)行 vimhadoop-env.sh
,修改JAVA_HOME
5.將Hadoop的執(zhí)行命令加入到我們的環(huán)境變量里
在/etc/profile文件中加入:
export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin
執(zhí)行/etc/profile文件:
source /etc/profile
6. 將npfdev1機(jī)器上的hadoop復(fù)制到npfdev2和npfdev3和npfdev4機(jī)器上。使用下面的命令:
首先分別在npfdev2和npfdev3和npfdev4機(jī)器上,建立/usr/local/hadoop目錄,然后在npfdev1上分別執(zhí)行下面命令:
scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev2:/usr/local/hadoop/
scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev3:/usr/local/hadoop/
scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev4:/usr/local/hadoop/
記?。盒枰髯孕薷膎pfdev2和npfdev3和npfdev4的/etc/profile文件:
在/etc/profile文件中加入:
export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin
執(zhí)行/etc/profile文件:
source /etc/profile
然后分別在npfdev1和npfdev2和npfdev3和npfdev4機(jī)器上,執(zhí)行hadoop命令,看是否安裝成功。并且關(guān)閉防火墻。
7. 確定所有機(jī)器之間可以相互ping通,使用下面的命令:
(1). ping npfdev1
(2). ping npfdev2
(3). ping npfdev3
(4). ping npfdev4
8. 啟動(dòng)hadoop:
我們這里將npfdev1作為master,npfdev2和npfdev3和npfdev4分別作為三臺(tái)slave。
(1).修改配置文件core-site.xml
進(jìn)入 cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop
具體配置如下:
(2).在master機(jī)器npfdev1上啟動(dòng)namenode
首先需要格式化namenode,第一次使用需要格式化,后來(lái)就不需要了。
hdfs namenode -format
然后啟動(dòng)namenode:
hadoop-daemon.sh start namenode
通過(guò)jps命令查看,如果有namenode的java進(jìn)程,就說(shuō)明我們啟動(dòng)namenode成功。
(3).在slave機(jī)器npfdev2,npfdev3,npfdev4上啟動(dòng)datanode
到此,關(guān)于“Hadoop的安裝與環(huán)境搭建教程”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí),請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章!