centos下安裝分布式Hadoop3.1.1

一）安裝環(huán)境

10年積累的成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識你，你也不認(rèn)識我。但先網(wǎng)站設(shè)計制作后付款的網(wǎng)站建設(shè)流程，更有新華免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

centos 7

JDK 1.8.0_181

VMware 12 pro

hadoop 3.1.1

二）安裝環(huán)境準(zhǔn)備

分布式系統(tǒng)準(zhǔn)備
下面示例中，我安裝了3個獨立的虛擬機系統(tǒng)，其中HW-Machine作為master，另外2臺分別為slaves：
Java環(huán)境配置 //3臺虛擬機均需配置
JDK安裝包的獲取以及Java環(huán)境的配置，請參考另一篇博文《Centos下Java環(huán)境安裝配置》。
靜態(tài)IP設(shè)置 //3臺虛擬機均需設(shè)置，并修改/etc/hosts文件及/etc/hostname文件
由于分布式系統(tǒng)配置時，會寫入系統(tǒng)主機名或者主機IP，因此我們需要對Hadoop環(huán)境所用的系統(tǒng)主機設(shè)置靜態(tài)IP，具體設(shè)置方法，請參考另一篇博《VMware中Centos系統(tǒng)設(shè)置靜態(tài)IP》。
我這里的設(shè)置情況如下：
SSH免密碼登錄配置 //3臺虛擬機均需配置
Hadoop的master與slave之間的數(shù)據(jù)傳輸會使用SSH，因此我們還需要對Hadoop環(huán)境所用的系統(tǒng)主機設(shè)置SSH免密碼登錄，具體設(shè)置方法，請參考另一篇博文《Centos設(shè)置SSH免密碼遠(yuǎn)程登錄》。

三）Hadoop安裝配置

注：

a. hadoop要求，所有用到的主機系統(tǒng)需要建立相同的用戶，在本例中我直接使用root賬號，因此所有操作均是以root賬號；

b. 對應(yīng)下面配置文件修改，未特別說明，只需修改master上面的文件。

Hadoop下載
直接去apache官網(wǎng)下載http://mirrors.hust.edu.cn/apache/ ，如本次實驗中下載的是： hadoop-3.1.1.tar.gz
直接解壓下載軟件包： tar -zxvf hadoop-3.1.1.tar.gz -C DestinationFolder，比如我解壓到了/usr/local/目錄下面（這里的3臺系統(tǒng)均需下載并解壓）
配置文件修改
3.1 修改core-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，3個系統(tǒng)都必須修改該文件
3.2 修改hadoop-env.sh文件，文件位置/xxx/etc/hadoop/目錄下，3個系統(tǒng)都必須修改該文件
或者如下修改（注意JAVA_HOME與HADOOP_HOME根據(jù)你自己環(huán)境配置設(shè)定），多添加紅框內(nèi)的內(nèi)容，這樣設(shè)置后可以省略后面的3.7，3.8，3.9三個步驟：
3.3 修改hdfs-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節(jié)點
或者，按如下設(shè)置（注意根據(jù)master實際配置，修改name、data目錄路徑及namenode的地址）：
3.4 修改mapred-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節(jié)點
注意：該文件可以只用設(shè)置此一個屬性，其他會默認(rèn)初始化。
3.5 修改workers文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節(jié)點
注意：這里可以只設(shè)置slave1和slave2，這樣master系統(tǒng)就不會作為DataNode節(jié)點。
3.6 修改yarn-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節(jié)點
注意：這里也可以只用設(shè)置yarn.resourcemanager.hostname和yarn.nodemanager.aux-services屬性。
3.7 修改start-dfs.sh及stop-dfs.sh文件，文件位置/xxx/sbin/目錄下，在這兩個文件頭部加入如下變量：
HDFS_DATANODE_USER=root