這篇文章主要為大家展示了“如何安裝hadoop”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“如何安裝hadoop”這篇文章吧。
讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：國際域名空間、虛擬主機(jī)、營銷軟件、網(wǎng)站建設(shè)、南陵網(wǎng)站維護(hù)、網(wǎng)站推廣。
工具：
xshell ()
安裝包：
hadoop-2.6.0.tar.gz->2.4.1 http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/
----------5/19/2017----------start
https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gzwget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz
----------5/19/2017----------end
jdk-7u9-linux-i586.tar.gz
后續(xù)用到的安裝包
hbase-0.94.2.tar.gz
hive-0.9.0.tar.gz
pig-0.10.0.tar.gz
zookeeper-3.4.3.tar.gz
添加用戶和組
groupadd hadoop
useradd hadoop -g hadoop
切換用戶
su hadoop
退出
exit
JDK安裝(root用戶下進(jìn)行安裝)
plan a: rpm
plab b: 解壓即可
mkdir /usr/java
tar -zxvf jdk-7u9-linux-i506.tar.gz -C /usr/java
建立鏈接:
ls -s /usr/java/jdk1.6.0_30 /usr/java/jdk
配置環(huán)境變量:
修改vi /etc/profile，在最后添加
export JAVA_HOME=/usr/java/jdk
export PATH=$JAVA_HOME/bin:$PATH
讓環(huán)境變量生效 source /etc/profile
檢查echo $PATH 和java -version
--------------------------------------------------------------------------
SSH和無密碼登錄
安裝SSH客戶端：
yum -y install openssh-clients
=>此時可進(jìn)行復(fù)制虛擬機(jī)
ssh master
生成無密碼的公私鑰對：
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
(以后可以把公鑰發(fā)給其他機(jī)器ssh-copy-id 192.168.137.44)
--------------------------------------------------------------------------
復(fù)制虛擬機(jī)
復(fù)制->完全復(fù)制
vi /etc/sysconfig/network-scripts/ifcfg-eth0
根據(jù)虛擬機(jī)真實(shí)的mac修改 設(shè)置-網(wǎng)絡(luò)，可查看到
DEVICE="eth2" HWADDR=... IPADDR=192.168.56.3
eth0改為eht1
mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-script/ifcfg-eth2
重啟網(wǎng)卡
通過以上方法可以復(fù)制多個虛擬
---------------------------------------------------------------
安裝hadoop
下載地址 http://archive.apache.org/dist/hadoop/core/stable
解壓：
tar -zxvf hadoop-1.0.3.tar.gz -C /opt/ #以前作法是安裝在/usr/local，現(xiàn)在一般安裝在opt
mv /opt/hadoop-1.0.3 /opt/hadoop #重命名方便使用
chown -R hadoop:hadoop /opt/hadoop #把文件夾的權(quán)限賦給hadoop用戶
su hadoop #在hadoop用戶下配置
配置0：
vi /etc/profile
export JAVA_HOME/usr/java/jdk
export HADOOP_HOME=/opt/hadoopp-2.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
配置1:
hadoop-evn.sh
export JAVA_HOME/usr/java/jdk
配置2：vim core-site.xml (建議用hostname，不用ip)
配置3：hdfs-site.xml
配置4:mv mapred-site.xml.template mapred-site.xml
配置5: yarn-site.xml
hadoop-env.sh
設(shè)置JAVA_HOME
初始化HDFS
hdfs namenode -format
底下生成tmp文件夾
啟動hadoop
./start-all.sh
檢驗-jps命令查看進(jìn)程
ResourceManager
NodeManager
NameNode
Jps
SecondaryNameNode
DataNode
檢驗-http://192.168.137.2:50070
http://192.168.137.2:50070/dfsnodelist.jsp?whatNodes=LIVE
http://192.168.137.2:50075/browseDirectory.jsp?dir=%2F&go=go&namenodeInfoPort=50070&nnaddr=192.168.137.2%3A9000
http://192.168.137.2:8088
如果無法訪問，需關(guān)閉防火墻 service iptables stop
Error:
Could not get the namenode ID of this node.
hadoop-hdfs-2.6.0.jar(hdfs-default.xml) dfs.ha.namenode.id
原理： http://blog.csdn.net/chenpingbupt/article/details/7922004
重慶分公司
重慶分公司
public static String getNameNodeId(Configuration conf, String nsId) {
String namenodeId = conf.getTrimmed(DFS_HA_NAMENODE_ID_KEY);
if (namenodeId != null) {
return namenodeId;
}
String suffixes[] = DFSUtil.getSuffixIDs(conf, DFS_NAMENODE_RPC_ADDRESS_KEY,
nsId, null, DFSUtil.LOCAL_ADDRESS_MATCHER);
if (suffixes == null) {
String msg = "Configuration " + DFS_NAMENODE_RPC_ADDRESS_KEY +
" must be suffixed with nameservice and namenode ID for HA " +
"configuration.";
throw new HadoopIllegalArgumentException(msg);
}
return suffixes[1];
}DFS_HA_NAMENODE_ID_KEY = "dfs.ha.namenode.id";
DFS_NAMENODE_RPC_ADDRESS_KEY = "dfs.namenode.rpc-address";
請先確保iptables關(guān)閉
0 檢查各臺機(jī)子的所有配置文件
1 是否沒有配置文件
2 各臺機(jī)子間的ssh免登錄是否正常
=>由于namenode配錯機(jī)子
以上是“如何安裝hadoop”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
