這篇文章給大家分享的是有關(guān)hadoop中入門配置知識(shí)點(diǎn)有哪些的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

成都創(chuàng)新互聯(lián)公司是專業(yè)的安達(dá)網(wǎng)站建設(shè)公司，安達(dá)接單;提供網(wǎng)站設(shè)計(jì)、成都網(wǎng)站設(shè)計(jì),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行安達(dá)網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

環(huán)境

    本人使用的是 XUbuntu14.04 64位，在虛擬機(jī)下搭建的

• 安裝 JDK，配置環(huán)境變量

        配置 classpath，修改所有用戶的環(huán)境變量

sudo vim /etc/profile
#在文件最后添加 
#set java environment
export JAVA_HOME={path}
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
source/etc/profile  ##使環(huán)境變量生效

• 配置SSH無(wú)密碼嗎登陸

            在用戶根目錄創(chuàng)建隱藏文件夾 .ssh  (沒(méi)有的需要?jiǎng)?chuàng)建)

mkdir .ssh

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

            驗(yàn)證下 ssh ，

 shh localhost

• 安裝hadoop （我用的是2.7）

• 解壓文件夾

sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop    # 指定目錄，可根據(jù)自己的喜好選擇放在哪

• 創(chuàng)建 hadooop 工作所需要的文件目錄

• 設(shè)置環(huán)境變量 （進(jìn)入$HADOOP_HOME/etc/hadoop）

sudo vim /etc/profile
export HADOOP_HOME={path}
#path 后面繼續(xù)跟
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 配置文件

• 配置 hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}          # JAVA_HOME JDK 路徑

• 配置 core-site.xml （關(guān)于Hadoop配置項(xiàng)的一點(diǎn)說(shuō)明雖然只需要配置fs.defaultFS 和 dfs.replication 就可以運(yùn)行（官方教程如此），不過(guò)若沒(méi)有配置 hadoop.tmp.dir 參數(shù)，則默認(rèn)使用的臨時(shí)目錄為 /tmp/hadoo-hadoop，而這個(gè)目錄在重啟時(shí)有可能被系統(tǒng)清理掉，導(dǎo)致必須重新執(zhí)行 format 才行。所以我們進(jìn)行了設(shè)置，同時(shí)也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來(lái)的步驟中可能會(huì)出錯(cuò)。shay為主機(jī)名，如果不知道自己的主機(jī)名可以 cat 一下 /etc/hostname）

    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
    
    
        fs.defaultFS
        hdfs://shay:9000
    

• 配置hdfs-site.xml

    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    
    

• 配置 mapred-site.xml 

            
        mapreduce.framework.name
         yarn
    

• 配置 yarn-site.xml

            
        yarn.nodemanager.aux-services        
        mapreduce_shuffle
    
    
        yarn.resourcemanager.hostname
        shay
    

• 配置 yarn-env.sh

export JAVA_HOME=${JAVA_HOME}

• Hadoop 啟動(dòng)

• 執(zhí)行 namenode 格式化

hdfs namenode -format

• 開(kāi)啟守護(hù)進(jìn)程

start-dfs.sh        # NameNode 和 DataNode 守護(hù)進(jìn)程
start-yarn.sh       # ResourceManager 和 NodeManager 守護(hù)進(jìn)程

• 驗(yàn)證

jps

感謝各位的閱讀！關(guān)于“hadoop中入門配置知識(shí)點(diǎn)有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！