這篇文章主要為大家展示了“hadoop如何安裝部署”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hadoop如何安裝部署”這篇文章吧。

創(chuàng)新互聯(lián)是網(wǎng)站建設(shè)專家,致力于互聯(lián)網(wǎng)品牌建設(shè)與網(wǎng)絡(luò)營銷，專業(yè)領(lǐng)域包括成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)、電商網(wǎng)站制作開發(fā)、小程序設(shè)計(jì)、微信營銷、系統(tǒng)平臺開發(fā)，與其他網(wǎng)站設(shè)計(jì)及系統(tǒng)開發(fā)公司不同，我們的整合解決方案結(jié)合了恒基網(wǎng)絡(luò)品牌建設(shè)經(jīng)驗(yàn)和互聯(lián)網(wǎng)整合營銷的理念，并將策略和執(zhí)行緊密結(jié)合，且不斷評估并優(yōu)化我們的方案，為客戶提供全方位的互聯(lián)網(wǎng)品牌整合方案！

一：準(zhǔn)備工作 １：準(zhǔn)備號ＪＤＫ環(huán)境 ２：關(guān)閉防火墻 ３：selinux disabled ４： ssh安裝 ５：修改host文件 ６：修改hostname

二：下載CDH http://archive.cloudera.com/cdh5/cdh/4/

三:環(huán)境變量配置 export JAVA_HOME=/home/bigdata/jdk1.7.0_45
export HADOOP_HOME=/home/hadoop/cdh5.4.0/hadoop-2.0.0-cdh5.4.0
export HADOOP_COMMOM_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LIB=$HADOOP_HOME/lib
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export PATH=$PATH:/etc/haproxy/sbin/:$JAVA_HOME/bin:$JAVA_HOME/jre/bin  
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$HADOOP_LIB/native/libhadoop.so

四：配置文件 core-site.xml

fs.default.name
hdfs://hadoop-001:8020 hadoop.tmp.dir /hadoop/tmp fs.trash.interval 10080 fs.trash.checkpoint.interval 10080 hadoop.proxyuser.hadoop.hosts hadoop-001 hadoop.proxyuser.hadoop.groups hadoop

hdfs-site.xml

dfs.replication 2 dfs.namenode.name.dir file:/hadoop/name ture dfs.datanode.data.dir file:/hadoop/data ture dfs.permissions false dfs.namenode.http-address hadoop-001:50070 dfs.secondary.http.address hadoop-001:50090 dfs.webhdfs.enabled true

yarn-site.xml

yarn.resourcemanager.resource-tracker.address
hadoop-001:18025
yarn.resourcemanager.address
hadoop-001:18040
yarn.resourcemanager.scheduler.address
hadoop-001:18030
yarn.resourcemanager.admin.address
hadoop-001:18141
yarn.resourcemanager.webapp.address
hadoop-001:8088
yarn.nodemanager.aux-services
mapreduce.shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.application.classpath
$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/,$HADOOP_COMMON_HOME/share/hadoop/common/lib/,$HADOOP_HDFS_HOME/share/hadoop/hdfs/,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/,$HADOOP_YARN_HOME/share/hadoop/yarn/,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/

mapred-site.xml

    
       
      mapreduce.framework.name    
      yarn    
      
      
      mapreduce.jobhistory.address    
      hadoop-001:10020    
      
      
      mapreduce.jobhistory.webapp.address    
      hadoop-001:19888    
      
      
      mapreduce.job.tracker    
      hadoop-001:8021    
      ture    
      
      
      mapred.system.dir    
      file:/hadoop/mapred/system    
      ture    
      
      
       mapred.local.dir    
       file:/hadoop/mapred/local    
       ture    
      
        
      mapred.child.env      
      LD_LIBRARY_PATH=/usr/local/lib      
       
      

五:創(chuàng)建號hdfs配置文件中的目錄

六:格式化namenode hadoop namenode -format

七: 啟動各自服務(wù)

以上是“hadoop如何安裝部署”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！