真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Hadoop怎樣安裝

本篇內(nèi)容介紹了“Hadoop怎樣安裝”的有關(guān)知識(shí),在實(shí)際案例的操作過程中,不少人都會(huì)遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!

成都創(chuàng)新互聯(lián)公司是一家專業(yè)提供南豐企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站建設(shè)、成都做網(wǎng)站、H5響應(yīng)式網(wǎng)站、小程序制作等業(yè)務(wù)。10年已為南豐眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站建設(shè)公司優(yōu)惠進(jìn)行中。

1、用vmware workstation建立虛擬機(jī),開始先不選擇安裝包

內(nèi)存選擇:如果本機(jī)是4G內(nèi)存,則分配虛擬機(jī)1G內(nèi)存

Hadoop怎樣安裝

2、按默認(rèn)要求來,完成虛擬機(jī)的初步配置

【大數(shù)據(jù)開發(fā)學(xué)習(xí)資料領(lǐng)取方式】:加入大數(shù)據(jù)技術(shù)學(xué)習(xí)交流群458345782,點(diǎn)擊加入群聊,私信管理員即可免費(fèi)領(lǐng)取

Hadoop怎樣安裝

3、開始ubuntu的安裝

選擇鏡像文件(我用的版本也在上面的網(wǎng)盤里下載),然后一步步的安裝

Hadoop怎樣安裝

4、選擇電腦名稱為hd1,密碼為123456。注意Your name設(shè)置為ubuntu

Hadoop怎樣安裝

5、打開Ubuntu虛擬機(jī),打開終端編輯器

Hadoop怎樣安裝

6、安裝并進(jìn)入VMware Tools。安裝通過點(diǎn)擊虛擬機(jī)->安裝VMware Tools進(jìn)行安裝。

Hadoop怎樣安裝

7、復(fù)制VMware Tools的壓縮包到另一個(gè)文件目錄下。這里放到了tmp目錄下。

Hadoop怎樣安裝

8、解壓VMWare Tools

Hadoop怎樣安裝

9、解壓后進(jìn)入vmware-tools-distrib

Hadoop怎樣安裝

10、繼續(xù)編寫命令進(jìn)行安裝 sudo./vmware-install.pl

Hadoop怎樣安裝

11、安裝VMware Tools成功

Hadoop怎樣安裝

12、利用 sudo aptinstall vim安裝vim。安裝完成后如下圖。

Hadoop怎樣安裝

13、輸入reboot重啟,同時(shí)重啟后輸入init 0關(guān)閉虛擬機(jī)

14、復(fù)制hd1文件夾,命名為hd2,放在存虛擬機(jī)的文件夾下

15、用記事本打開hd2文件夾下的hd1.vmx。修改其中的displayName為hd2.

再用VMware WorkStation打開hd1.vmx

Hadoop怎樣安裝

16、分別啟動(dòng)兩臺(tái)虛擬機(jī)

Hadoop怎樣安裝

17、根據(jù)電腦的ip配置/etc/hosts文件,給IP地址一個(gè)別名,方便后面操作。注意ip地址為你兩臺(tái)虛擬機(jī)的ip地址。用ifconfig命令可以查看本機(jī)IP。一般是191.168.開頭的一串IP地址。我配置如下。

sudo vim /etc/hosts

192.168.241.132 hd1

192.168.241.130 hd2

Hadoop怎樣安裝

18、安裝openssh-server

Hadoop怎樣安裝

19、啟動(dòng)ssh

Hadoop怎樣安裝

20、保證每次開機(jī)時(shí)自動(dòng)啟動(dòng)ssh

Hadoop怎樣安裝

21、多機(jī)互信,兩臺(tái)虛擬機(jī)都要執(zhí)行ssh-keygen-t rsa命令。

Hadoop怎樣安裝

22、進(jìn)行密鑰的互信,兩臺(tái)虛擬機(jī)都要執(zhí)行cat id_rsa.pub >> authorized_keys命令。

Hadoop怎樣安裝

23、將hd1的文件拷到hd2上,同時(shí)把hd2的文件拷到hd1上

Hadoop怎樣安裝

24、驗(yàn)證已經(jīng)實(shí)現(xiàn)雙機(jī)互信

Hadoop怎樣安裝

25、在hd1上進(jìn)行hadoop的安裝

Hadoop怎樣安裝

26、在hd1和hd2上進(jìn)行java的安裝。

兩臺(tái)主機(jī)都要執(zhí)行sudo apt install default-jre命令。

Hadoop怎樣安裝

27、在hd1和hd2上分別進(jìn)行相關(guān)目錄的創(chuàng)建

Hadoop怎樣安裝

接下來需要配置hadoop集群文件

配置文件有7個(gè):

/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves

/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml

28、配置env文件。28-34步只在hd1上完成

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

export HADOOP_HOME=/home/hadoop/hadoop

Hadoop怎樣安裝

29、配置yarn-env文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

Hadoop怎樣安裝

30、配置slave文件

hd1

hd2

Hadoop怎樣安裝

31、配置core-site文件

    fs.defaultFS

    hdfs://hd1:9000

 

    io.file.buffer.size

    131072

    hadoop.tmp.dir

    file:/home/ubuntu/hadoop/tmp

    hadoop.proxyuser.hduser.hosts

    *

    hadoop.proxyuser.hduser.groups

    *

Hadoop怎樣安裝

32、配置hdfs-site文件

   

        dfs.namenode.http-address

        hd1:50070

   

   

        dfs.namenode.secondary.http-address

        hd1:9001

   

   

        dfs.namenode.name.dir

        file:/home/ubuntu/hadoop/namenode

   

   

        dfs.datanode.data.dir

        file:/home/ubuntu/hadoop/hdfs

   

   

        dfs.replication

        1

   

   

        dfs.webhdfs.enabled

        true

   

   

        dfs.support.append

        true

   

   

        dfs.support.broken.append

        true

   

   

        dfs.permissions.enabled

        false

   

Hadoop怎樣安裝

33、配置mapred-site文件

注意先將mapred-site.xml.template文件拷出,然后再使用vim命令

Hadoop怎樣安裝

    mapreduce.framework.name

    yarn

    mapreduce.jobhistory.address

    hd1:10020

    mapreduce.jobhistory.webapp.address

    hd1:19888

【大數(shù)據(jù)開發(fā)學(xué)習(xí)資料領(lǐng)取方式】:加入大數(shù)據(jù)技術(shù)學(xué)習(xí)交流群458345782,點(diǎn)擊加入群聊,私信管理員即可免費(fèi)領(lǐng)取

Hadoop怎樣安裝

34、配置yarn-site文件

    yarn.nodemanager.aux-services

    mapreduce_shuffle

    yarn.nodemanager.aux-services.mapreduce.shuffle.class

    org.apache.hadoop.mapred.ShuffleHandler

    yarn.resourcemanager.address

    hd1:8032

    yarn.resourcemanager.scheduler.address

    hd1:8030

    yarn.resourcemanager.resource-tracker.address

    hd1:8031

    yarn.resourcemanager.admin.address

    hd1:8033

    yarn.resourcemanager.webapp.address

    hd1:8088

Hadoop怎樣安裝

35、在hd1和hd2上配置路徑文件。執(zhí)行下面兩條命令

sudo vim /etc/profile

export PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home/ubuntu/hadoop/hadoop/sbin

Hadoop怎樣安裝

36、在hd1上加入hadoop路徑到path路徑下

Hadoop怎樣安裝

37、在hd1上格式化namenode,執(zhí)行hadoop namenode -format命令

Hadoop怎樣安裝

38、在hd1上進(jìn)行文件的分發(fā),注意命令行當(dāng)前所在的位置。

Hadoop怎樣安裝

39、驗(yàn)證是否安裝成功

在hd1上建一個(gè)a.txt文件

Hadoop怎樣安裝

拷到hdfs文件里面去

Hadoop怎樣安裝

打印顯示

Hadoop怎樣安裝

自此安裝成功

“Hadoop怎樣安裝”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!


新聞名稱:Hadoop怎樣安裝
標(biāo)題URL:http://weahome.cn/article/pjdddo.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部