本篇內(nèi)容介紹了“Hadoop怎樣安裝”的有關(guān)知識(shí),在實(shí)際案例的操作過程中,不少人都會(huì)遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
成都創(chuàng)新互聯(lián)公司是一家專業(yè)提供南豐企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站建設(shè)、成都做網(wǎng)站、H5響應(yīng)式網(wǎng)站、小程序制作等業(yè)務(wù)。10年已為南豐眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站建設(shè)公司優(yōu)惠進(jìn)行中。
1、用vmware workstation建立虛擬機(jī),開始先不選擇安裝包
內(nèi)存選擇:如果本機(jī)是4G內(nèi)存,則分配虛擬機(jī)1G內(nèi)存
2、按默認(rèn)要求來,完成虛擬機(jī)的初步配置
【大數(shù)據(jù)開發(fā)學(xué)習(xí)資料領(lǐng)取方式】:加入大數(shù)據(jù)技術(shù)學(xué)習(xí)交流群458345782,點(diǎn)擊加入群聊,私信管理員即可免費(fèi)領(lǐng)取
3、開始ubuntu的安裝
選擇鏡像文件(我用的版本也在上面的網(wǎng)盤里下載),然后一步步的安裝
4、選擇電腦名稱為hd1,密碼為123456。注意Your name設(shè)置為ubuntu
5、打開Ubuntu虛擬機(jī),打開終端編輯器
6、安裝并進(jìn)入VMware Tools。安裝通過點(diǎn)擊虛擬機(jī)->安裝VMware Tools進(jìn)行安裝。
7、復(fù)制VMware Tools的壓縮包到另一個(gè)文件目錄下。這里放到了tmp目錄下。
8、解壓VMWare Tools
9、解壓后進(jìn)入vmware-tools-distrib
10、繼續(xù)編寫命令進(jìn)行安裝 sudo./vmware-install.pl
11、安裝VMware Tools成功
12、利用 sudo aptinstall vim安裝vim。安裝完成后如下圖。
13、輸入reboot重啟,同時(shí)重啟后輸入init 0關(guān)閉虛擬機(jī)
14、復(fù)制hd1文件夾,命名為hd2,放在存虛擬機(jī)的文件夾下
15、用記事本打開hd2文件夾下的hd1.vmx。修改其中的displayName為hd2.
再用VMware WorkStation打開hd1.vmx
16、分別啟動(dòng)兩臺(tái)虛擬機(jī)
17、根據(jù)電腦的ip配置/etc/hosts文件,給IP地址一個(gè)別名,方便后面操作。注意ip地址為你兩臺(tái)虛擬機(jī)的ip地址。用ifconfig命令可以查看本機(jī)IP。一般是191.168.開頭的一串IP地址。我配置如下。
sudo vim /etc/hosts
192.168.241.132 hd1
192.168.241.130 hd2
18、安裝openssh-server
19、啟動(dòng)ssh
20、保證每次開機(jī)時(shí)自動(dòng)啟動(dòng)ssh
21、多機(jī)互信,兩臺(tái)虛擬機(jī)都要執(zhí)行ssh-keygen-t rsa命令。
22、進(jìn)行密鑰的互信,兩臺(tái)虛擬機(jī)都要執(zhí)行cat id_rsa.pub >> authorized_keys命令。
23、將hd1的文件拷到hd2上,同時(shí)把hd2的文件拷到hd1上
24、驗(yàn)證已經(jīng)實(shí)現(xiàn)雙機(jī)互信
25、在hd1上進(jìn)行hadoop的安裝
26、在hd1和hd2上進(jìn)行java的安裝。
兩臺(tái)主機(jī)都要執(zhí)行sudo apt install default-jre命令。
27、在hd1和hd2上分別進(jìn)行相關(guān)目錄的創(chuàng)建
接下來需要配置hadoop集群文件
配置文件有7個(gè):
/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh
/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh
/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves
/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml
/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml
/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml
/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml
28、配置env文件。28-34步只在hd1上完成
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/
export HADOOP_HOME=/home/hadoop/hadoop
29、配置yarn-env文件
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/
30、配置slave文件
hd1
hd2
31、配置core-site文件
32、配置hdfs-site文件
33、配置mapred-site文件
注意先將mapred-site.xml.template文件拷出,然后再使用vim命令
【大數(shù)據(jù)開發(fā)學(xué)習(xí)資料領(lǐng)取方式】:加入大數(shù)據(jù)技術(shù)學(xué)習(xí)交流群458345782,點(diǎn)擊加入群聊,私信管理員即可免費(fèi)領(lǐng)取
34、配置yarn-site文件
35、在hd1和hd2上配置路徑文件。執(zhí)行下面兩條命令
sudo vim /etc/profile
export PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home/ubuntu/hadoop/hadoop/sbin
36、在hd1上加入hadoop路徑到path路徑下
37、在hd1上格式化namenode,執(zhí)行hadoop namenode -format命令
38、在hd1上進(jìn)行文件的分發(fā),注意命令行當(dāng)前所在的位置。
39、驗(yàn)證是否安裝成功
在hd1上建一個(gè)a.txt文件
拷到hdfs文件里面去
打印顯示
自此安裝成功
“Hadoop怎樣安裝”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!