本篇內(nèi)容介紹了“Hadoop windows本地環(huán)境安裝教程”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

10余年的萊蕪網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開(kāi)發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。營(yíng)銷型網(wǎng)站建設(shè)的優(yōu)勢(shì)是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整萊蕪建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無(wú)論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)從事“萊蕪網(wǎng)站設(shè)計(jì)”,“萊蕪網(wǎng)站推廣”以來(lái)，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

有時(shí)候需要調(diào)試hadoop的程序，如果都要傳到linux上，非常不方便。我們可以搭建一個(gè)windows的單機(jī)版本hadoop環(huán)境，測(cè)試我們的代碼。

一、下載所需文件

1. JDK下載地址，jdk1.8下載

2. Hadoop下載，hadoop下載，進(jìn)去后找到一個(gè)版本然后點(diǎn)擊 Binary download 下載到本地。

3. Hadoop windows環(huán)境編譯工具，winutils下載 ，下載后解壓出來(lái)

二、安裝文件

1.  jdk安裝，省略

2. hadoop安裝，由于下載的hadoop文件是不用安裝的，我們只需要解壓出來(lái)就可以了 解壓目錄 D:\dev-tools\hadoop\hadoop-2.8.3

三、環(huán)境變量配置

1.  jdk，省略

四、配置hadoop文件

1. 配置 core-site.xml文件

    
        hadoop.tmp.dir
        /D:/data/hadoop
    

    
        fs.default.name
        hdfs://localhost:9000
    

2. 配置mapred-site.xml 

    
       mapreduce.framework.name
       yarn
    

配置  hdfs-site.xml

    
    
        dfs.replication
        1
    

配置 yarn-site.xml 

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

找到 hadoop-env.cmd 文件并打開(kāi)，添加下面配置。

set JAVA_HOME=%JAVA_HOME%
set HADOOP_HOME=D:\dev-tools\hadoop\hadoop-2.8.3
rem %HADOOP_HOME%\bin 加入到運(yùn)行時(shí)path中
set PATH=%PATH%;%HADOOP_HOME%\bin

五、替換文件

解壓我們之前下載的 winutils-master 文件，找到符合自己的版本的bin目錄，把 winutils.exe和hadoop.dll 復(fù)制到 bin 目錄

六、運(yùn)行

1.運(yùn)行cmd窗口，執(zhí)行hdfs namenode -format ，格式化hdfs文件系統(tǒng)。

 2.運(yùn)行cmd窗口，切換到hadoop的sbin目錄，執(zhí)行start-all.cmd啟動(dòng)hadoop，包括yarn/hdfs

七、測(cè)試

打開(kāi)下面的網(wǎng)頁(yè)可以查看hdfs狀態(tài)

在hadoop 2.x中,管理界面為 http://localhost:50070

在hadoop 3.0中，已經(jīng)改為 http://localhost:9870

打開(kāi)下面的網(wǎng)頁(yè)可以查看yarn狀態(tài)

http://localhost:8088/cluster

配置好的hadoop 2.8.3，已經(jīng)上傳到網(wǎng)盤(pán)，可以自行下載后配置環(huán)境變量即可使用

“Hadoop windows本地環(huán)境安裝教程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！