hadoop3種集群方式包括獨(dú)立模式、偽分布式模式和完全分布式模式

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),合水企業(yè)網(wǎng)站建設(shè),合水品牌網(wǎng)站建設(shè),網(wǎng)站定制,合水網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,合水網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

1獨(dú)立模式

安裝

a)下載jdk-8u65-linux-x64.tar.gz

b)tar開

$>su centos ; cd ~

$>mkdir downloads

$>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads

$>tar -xzvf jdk-8u65-linux-x64.tar.gz

c)創(chuàng)建/soft文件夾

$>sudo mkdir /soft

$>sudo chown centos:centos /soft

d)移動tar開的文件到/soft下

$>mv ~/downloads/jdk-1.8.0_65 /soft/

e)創(chuàng)建符號連接

$>ln -s /soft/jdk-1.8.0_65 /soft/jdk

f)驗(yàn)證jdk安裝是否成功

$>cd /soft/jdk/bin

$>./java -version

配置jdk環(huán)境變量

1.編輯/etc/profile

$>sudo nano /etc/profile

...

export JAVA_HOME=/soft/jdk

exprot PATH=$PATH:$JAVA_HOME/bin

2.使環(huán)境變量即刻生效

$>source /etc/profile

3.進(jìn)入任意目錄下,測試是否ok

$>cd ~

$>java -version

注意點(diǎn)

你創(chuàng)建文件夾一定和你登陸的用戶一致

安裝HADOOP軟件

 1.安裝hadoop

a)下載hadoop-2.7.3.tar.gz

b)tar開

$>su centos ; cd ~

$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads

$>tar -xzvf hadoop-2.7.3.tar.gz

c)無

d)移動tar開的文件到/soft下

$>mv ~/downloads/hadoop-2.7.3 /soft/

e)創(chuàng)建符號連接

$>ln -s /soft/hadoop-2.7.3 /soft/hadoop

f)驗(yàn)證hadoop安裝是否成功

$>cd /soft/hadoop/bin

$>./hadoop version

2.配置hadoop環(huán)境變量

$>sudo nano /etc/profile

...

export JAVA_HOME=/soft/jdk

exprot PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.生效

$>source /etc/profile

4.進(jìn)入任意目錄下,測試是否ok

$>cd ~

$>hadoop version

5.nothing !

不需要啟用單獨(dú)的hadoop進(jìn)程。

6.hafs dfs -ls /home 和 linux中的ls效果一樣

偽分布模式（Pseudodistributed mode）

a)進(jìn)入${HADOOP_HOME}/etc/hadoop目錄

三種模式共存

1.創(chuàng)建三個(gè)配置目錄,內(nèi)容等同于hadoop目錄

${hadoop_home}/etc/local

${hadoop_home}/etc/pesudo

${hadoop_home}/etc/full

2.創(chuàng)建符號連接

$>ln -spesudo hadoop

b)編輯core-site.xml

fs.defaultFS

hdfs://localhost/

c)編輯hdfs-site.xml

dfs.replication

1

d)編輯mapred-site.xml

注意:cp mapred-site.xml.template mapred-site.xml

mapreduce.framework.name

yarn

e)編輯yarn-site.xml

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

配置：core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml

f)配置SSH

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)頁名稱：hadoop3種集群方式-創(chuàng)新互聯(lián)
分享地址：http://weahome.cn/article/dcgeie.html