1.Hadoop安裝步驟
將Hadoop文件拷貝到/usr/local目錄下并解壓Tar -zxvf hadoop-3.0.0.tar.gz
將解壓后文件重命名hadoop mv hadoop-3.0.0.tar.gz hadoop
1.1、配置host ip映射關(guān)系 vim /etc/host
172.26.19.40 hmaster
172.26.19.41 hslave1
172.26.19.42 hslave2
172.26.19.43 hslave3
1.2、vim /etc/profile 配置Hadoop classpath
#set java environment /usr/local/java/jdk1.8.0_151
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH=$PATH:/usr/local/hive/bin
2.配置Hadoop相關(guān),在/usr/local/hadoop/etc/hadoop目錄下配置
vim hadoop-env.sh 運(yùn)行環(huán)境依賴Java JDK
export JAVA_HOME=/usr/java/jdk1.8.0_151
配置Hadoop NameNode節(jié)點(diǎn)（Hadoop可以啟動(dòng)啦）
2.1、vim core-site.xml 每個(gè)節(jié)點(diǎn)都需要配置才可
------配置通信節(jié)點(diǎn)url，所有節(jié)點(diǎn)都需要該配置
hadoop.tmp.dir 配置Hadoop文件存儲(chǔ)默認(rèn)目錄（若未配置，默認(rèn)保存臨時(shí)目錄/tmp下的）


fs.defaultFS
hdfs://master:9000

創(chuàng)新互聯(lián)建站網(wǎng)站建設(shè)服務(wù)商，為中小企業(yè)提供網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)服務(wù)，網(wǎng)站設(shè)計(jì)，成都網(wǎng)站托管等一站式綜合服務(wù)型公司，專業(yè)打造企業(yè)形象網(wǎng)站，讓您在眾多競(jìng)爭(zhēng)對(duì)手中脫穎而出創(chuàng)新互聯(lián)建站。

hadoop.tmp.dir
/var/hadoop

3.Hadoop默認(rèn)4個(gè)基本配置文件
hadoop默認(rèn)配置
Core-default.xml ------對(duì)應(yīng) core-site.xml
Hdfs-default.xml-------對(duì)應(yīng) hdfs-site.xml
mapred-default.xml
yarn-default.xml
3.1、Hdfs-site.xml 配置后覆蓋默認(rèn)配置（Hdfs-site.xml僅在Namenode配置即可）
----配置hadoop復(fù)制的保存份數(shù)（只在namenode節(jié)點(diǎn)配置即可）
dfs.replication HDFS保存文件保存的份數(shù)（默認(rèn)是3份）
dfs.namenode.heartbeat.recheck-interval DataNode健康檢查的間隔時(shí)間（毫秒）
dfs.permissions.enabled 測(cè)試時(shí)，可以關(guān)閉權(quán)限檢查(否則沒有權(quán)限訪問(wèn)）


dfs.replication
3


dfs.namenode.heartbeat.recheck-interval
20000


dfs.permissions.enabled
false


3.2、mapred-site.xml僅在Namenode配置即可），
mapreduce.framework.name 將mapreduce與yarn資源調(diào)度平臺(tái)關(guān)聯(lián)（即mapreduce計(jì)算引擎使用yarn作為調(diào)度引擎）


mapreduce.framework.name
yarn


3.3yarn-site.xml僅在Namenode配置即可
yarn.resourcemanager.hostname 配置Namenode的主機(jī)名
yarn.nodemanager.aux-services/yarn.nodemanager.aux-services.mapreduce_shuffle.class 配置計(jì)算MapReduce計(jì)算服務(wù)



yarn.resourcemanager.hostname
hmaster

yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce_shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

4、基本配置完畢，先格式化namenode節(jié)點(diǎn)
Hdfs namenode -format
start-dfs.sh 啟動(dòng)Hadoop集群所有節(jié)點(diǎn)
stop-dfs.sh 停止Hadoop集群所有節(jié)點(diǎn)
啟動(dòng)namenode節(jié)點(diǎn)（master）
hdfs --daemon start namenode （3.0寫法）
hdfs --daemon stop namenode
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode
jps查看相關(guān)進(jìn)程是否起來(lái)
hdfs dfsadmin -report | more 查看Hadoop集群的狀態(tài)
http://172.26.19.40:50070/ Hadoop集群UI管理界面
http://172.26.19.40:9000/ 集群內(nèi)部通信接口服務(wù)
5、僅在namenode節(jié)點(diǎn)/usr/local/hadoop/etc/hadoop下
在slaves文件里添加所有DataNode節(jié)點(diǎn)hostname（方便以后腳本批量配置所有slaves節(jié)點(diǎn)）
vim slaves
hslave1
hslave2
hslave3
6、免密設(shè)置
cd ~ 來(lái)到根目錄 ll -a 找到.ssh 文件
在.ssh目錄執(zhí)行 ssh-keygen -t rsa 生成root用戶私鑰與公鑰如下圖
然后將公鑰id_rsa.pub 拷貝到所有slave節(jié)點(diǎn).ssh目錄
（在master 上用root登錄slave時(shí)，用master的私鑰加密后傳輸?shù)絪lave節(jié)點(diǎn)，在所有slave節(jié)點(diǎn)拷貝的公鑰能解密，證明是root用戶登錄上來(lái)了）
執(zhí)行命令 Ssh-copy-id slave2 拷貝公鑰id_rsa.pub 到slave2的.ssh目錄（生成文件authorized_keys）
這時(shí)在master上可以免密登錄slave1了

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站名稱：hadoopinstall-創(chuàng)新互聯(lián)
當(dāng)前鏈接：http://weahome.cn/article/isdhs.html