Hadoop版本
網(wǎng)站建設(shè)哪家好,找成都創(chuàng)新互聯(lián)!專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、小程序設(shè)計、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了海鹽免費(fèi)建站歡迎大家使用!
Hadoop 有兩個主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大數(shù)公司已經(jīng)更新Hadoop 2.x 版本,本教程均可適用.
基本環(huán)境:Centos 6.5 jdk1.7.0_67 hadoop2.5.1
一、配置jdk
1)下載jdk 版本
本教程試用jdk-7u67-linux-x64.war.gz
2)創(chuàng)建解壓目錄
mkdir /usr/local/java
3)移動jdk到/usr/local/java
mv jdk-7u67-linux-x64.war.gz /usr/local/java
4)解壓jdk
tar -xvf jdk-7u67-letcinux-x64.war.gz
5)配置環(huán)境
5.1)編輯 ~/.bash_profile文件 (可以在/etc/profile配置,但是不建議)
1.vi ~/.bash_profile
2.JAVA_HOME =/usr/local/java/jdk1.7.0_67
3.CLASSPATH=. :$JAVA_HOME/lib/*.jar
4.PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
5.退出編輯,并 source ~/.bash_profile
6.驗(yàn)證 java -version
二、安裝配置hadoop
1)下載hadoop 版本
本教程使用hadoop2.5.1.war.gz
2)創(chuàng)建解壓目錄
mkdir /usr/local/hadoop
3)移動hadoop到/usr/local/hadoop
mv hadoop2.5.1.war.gz /usr/local/hadoop
4)解壓hadoop
tar -xvf hadoop2.5.1.war.gz
5)配置環(huán)境
5.1)編輯~/.bash_profile文件
1.vi ~/.bash_profile
2.HADOOP_HOME=/usr/local/hadoop2.6.4
4.PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/jre/bin
5.退出編輯,并 source ~/.bash_profile
5.2)配置etc/hadoop/hadoop-env.sh,etc/hadoop/core-site.xml,hdfs-site.xml ,etc/hadoop/salves
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html
1.配置hadoop-env.sh
export JAVA_HOME=/*your jdk的目錄*/
2.配置core-site.xml (可以參考官方文檔)
fs.defaultFS
hdfs://localhost:9000 /** your的主機(jī)名**/
3.配置hdfs-site.xml
dfs.replication
1
4.配置salves
your的機(jī)主名
6)關(guān)閉臨時防火墻
1)service iptables stop
2)chkconfig iptables off
7)格式化
hadoop namenode -format
8)驗(yàn)證
start-hdfs.sh
8)jps產(chǎn)看狀態(tài)
2135 NodeManager
5087 SecondaryNameNode
2054 ResourceManager
9053 Jps
4891 DataNode
7489 NameNode
9) 網(wǎng)頁查看
yourip:50070 (windows 沒有添加host ,就用IP地址)