本篇內(nèi)容主要講解“Hadoop的三種安裝模式”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Hadoop的三種安裝模式”吧!
成都創(chuàng)新互聯(lián)于2013年成立，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元青山做網(wǎng)站,已為上家服務(wù),為青山各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話(huà):18982081108
Hadoop三種安裝模式：?jiǎn)螜C(jī)模式，偽分布式，真正分布式
一 單機(jī)模式standalone
單機(jī)模式是Hadoop的默認(rèn)模式。當(dāng)首次解壓Hadoop的源碼包時(shí)，Hadoop無(wú)法了解硬件安裝環(huán)境，便保守地選擇了最小配置。在這種默認(rèn)模式下所有3個(gè)XML文件均為空。當(dāng)配置文件為空時(shí)，Hadoop會(huì)完全運(yùn)行在本地。因?yàn)椴恍枰c其他節(jié)點(diǎn)交互，單機(jī)模式就不使用HDFS，也不加載任何Hadoop的守護(hù)進(jìn)程。該模式主要用于開(kāi)發(fā)調(diào)試MapReduce程序的應(yīng)用邏輯。
二 偽分布模式安裝
tar xzvf hadoop-0.20.2.tar.gz
Hadoop的配置文件：
conf/hadoop-env.sh 配置JAVA_HOME
core-site.xml 配置HDFS節(jié)點(diǎn)名稱(chēng)和地址
hdfs-site.xml 配置HDFS存儲(chǔ)目錄，復(fù)制數(shù)量
mapred-site.xml 配置mapreduce的jobtracker地址
配置ssh，生成密匙，使到ssh可以免密碼連接
(RSA算法，基于因數(shù)不對(duì)稱(chēng)加密：公鑰加密私鑰才能解密，私鑰加密公鑰才能解密)
cd /root
ssh -keygen -t rsa
cd .ssh
cp id_rsa.pub authorized_keys覆蓋公鑰，就能免密碼連接
啟動(dòng)Hadoop bin/start-all.sh
停止Hadoop bin/stop-all.sh
二 完全分布式模式
1. 配置etc/hosts文件,使主機(jī)名解析為IP 或者使用DNS服務(wù)解析主機(jī)名
2. 建立hadoop運(yùn)行用戶(hù): useradd grid>passwd grid
3. 配置ssh密碼連入: 每個(gè)節(jié)點(diǎn)用grid登錄，進(jìn)入主工作目錄，ssh -keygen -t rsa生產(chǎn)公鑰，然后將每個(gè)節(jié)點(diǎn)的公鑰復(fù)制到同一個(gè)文件中，再將這個(gè)包含所有節(jié)點(diǎn)公鑰的文件復(fù)制到每個(gè)節(jié)點(diǎn)authorized_keys目錄，這個(gè)每個(gè)節(jié)點(diǎn)之間彼此可以免密碼連接
4. 下載并解壓hadoop安裝包
5. 配置namenode，修改site文件
6. 配置hadoop-env.sh
7. 配置masters和slaves文件
8. 向各個(gè)節(jié)點(diǎn)復(fù)制hadoop
9. 格式化namenode
10.啟動(dòng)hadoop
11.用jps檢驗(yàn)各后臺(tái)進(jìn)程是否成功啟動(dòng)
vim /etc/hosts
vim /etc/sysconfig/network
vim /etc/sysconfig/network-scripts/ifcfg-eth0
service network restart
service NetworkManager stop
chkconfig NetworkManager off
service iptables stop
chkconfig iptables off
service ip6tables stop
chkconfig ip6tables off
vim /etc/sysconfig/selinux enforce-->disabled
setenforce 0
getenforce
useradd hadoop
passwd hadoop
secureCRT生產(chǎn)公鑰，將公鑰拷貝到/home/hadoop/.ssh下：
chmod 700 .ssh
ssh-keygen -i -f PubKey_Master_Hadoop.pub >> authorized_key
chmod 600 authorized_keys
vim /etc/ssh/sshd-config 如下：
RSAAuthentication yes # 啟用 RSA 認(rèn)證
PubkeyAuthentication yes # 啟用公鑰私鑰配對(duì)認(rèn)證方式
AuthorizedKeysFile .ssh/authorized_keys # 公鑰文件路徑（和上面生成的文件同）
PasswordAuthentication no # 禁止密碼驗(yàn)證登陸（根據(jù)需要，不過(guò)一般啟用了密鑰，就不用密碼了）
service sshd restart
secureCRT使用PublicKey（PubKey_Master_Hadoop.pub）連接測(cè)試
Master 使用ssh公鑰連接Slave：
掛載光盤(pán)，創(chuàng)建yum源：
vim /etc/fstab
vim /etc/yum.repos.d/rhel-source.repo
yum -y install ssh
yum -y install rsync
Master host:
mkdir .ssh
ssh-keygen –t rsa –P ''
cat id_rsa.pub >> authorized_keys
chmod 700 .ssh
chmod 600 authorized_keys
ssh localhost
scp id_rsa.pub hadoop@192.168.175.12:~/,ssh
ssh 192.168.175.12
Slave host:
mkdir .ssh
cat id_rsa.pub >> authorized_keys
chmod 700 .ssh
chmod 600 authorized_keys
vim /etc/ssh/sshd-config 如上
service sshd restart
安裝java：拷貝到/usr/hava
chmod +x jdk-6u37-linux-x64.bin
vim /etc/profile 添加JAVA_HOME
source /etc profile
=================================
安裝hadoop-1.2.0：拷貝到/usr/hadoop-1.2.0，所以者和組修改為hadoop
vim /etc/profile:
export JAVA_HOME=/usr/java/jdk1.6.0_37
export HADOOP_HOME=/usr/hadoop-1.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
配置hadoop-env.sh: 目錄：/usr/hadoop/conf
#export HADOOP_ROOT_LOGGER=DEBUG,console
export JAVA_HOME=/usr/java/jdk1.6.0_37
export HADOOP_HOME_WARN_SUPPRESS=1
配置core-site.xml文件：
配置hdfs-site.xml文件：
配置mapred-site.xml文件：
配置masters文件：
master.hadoop或者192.168.175.11
配置slave文件：
slave1.hadoop或者192.168.175.12
slave2.hadoop或者192.168.175.13
slave3.hadoop或者192.168.175.14
=================================
安裝hadoop-2.0.5：拷貝到/usr
tar -zxvf hadoop-2.0.5-alpha.tar.gz
mv hadoop-2.0.5-alpha /usr/hadoop
chown -R hadoop:hadoop hadoop
vim /etc/profile:
# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME:$HADOOP_HOME/bin
source /etc/profile
配置hadoop-env.sh: 目錄：/usr/hadoop/etc/hadoop
在末尾添加：export JAVA_HOME=/usr/java/jdk1.6.0_37
配置yarn-env.sh和 .bash_profile：
export HADOOP_PREFIX=/usr/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin
export PATH=$PATH:$HADOOP_PREFIX/sbin
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
export HADOOP_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop
配置core-site.xml文件：
配置hdfs-site.xml文件：修改Hadoop中HDFS的配置，配置的備份方式默認(rèn)為3。
配置mapred-site.xml文件：修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。
配置yarn-site.xml：
配置masters文件：
master.hadoop或者192.168.175.11
配置slave文件：
slave1.hadoop或者192.168.175.12
slave2.hadoop或者192.168.175.13
slave3.hadoop或者192.168.175.14
mkdir -p /usr/hadoop/tmp
mkdir -p /home/hadoop/dfs/data
mkdir -p /home/hadoop/dfs/name
mkdir -p /home/hadoop/mapred/system
mkdir -p /home/hadoop/mapred/local
格式化HDFS文件系統(tǒng)：使用hadoop用戶(hù)，只需格式一次：hadoop namenode -format
開(kāi)始守護(hù)進(jìn)程
# hadoop-daemon.sh start namenode
# hadoop-daemon.sh start datanode
可以同時(shí)啟動(dòng)：start-dfs.sh
開(kāi)始 Yarn 守護(hù)進(jìn)程
# yarn-daemon.sh start resourcemanager
# yarn-daemon.sh start nodemanager
或同時(shí)啟動(dòng)：start-yarn.sh
檢查守護(hù)進(jìn)程是否啟動(dòng)
# jps
到此，相信大家對(duì)“Hadoop的三種安裝模式”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢(xún)，關(guān)注我們，繼續(xù)學(xué)習(xí)！
重慶分公司
重慶分公司
