本篇內(nèi)容主要講解“如何搭建Hadoop的環(huán)境”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“如何搭建Hadoop的環(huán)境”吧!
成都創(chuàng)新互聯(lián)公司10多年成都定制網(wǎng)頁設(shè)計(jì)服務(wù);為您提供網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)頁設(shè)計(jì)及高端網(wǎng)站定制服務(wù),成都定制網(wǎng)頁設(shè)計(jì)及推廣,對(duì)封陽臺(tái)等多個(gè)行業(yè)擁有豐富的網(wǎng)站維護(hù)經(jīng)驗(yàn)的網(wǎng)站建設(shè)公司。
說明：這里我們以本地模式和偽分布模式偽列，為大家介紹如何搭建Hadoop環(huán)境。有了這個(gè)基礎(chǔ)，大家可以自行搭建Hadoop的全分布模式。
需要使用的安裝介質(zhì)：
hadoop-2.7.3.tar.gz
jdk-8u181-linux-x64.tar.gz
rhel-server-7.4-x86_64-dvd.iso
安裝好Redhat Linux 7.4（安裝包rhel-server-7.4-x86_64-dvd.iso），并在Linux上創(chuàng)建tools和training兩個(gè)目錄
關(guān)閉防火墻，執(zhí)行下面的命令
1 2 | systemctl stop firewalld.servicesystemctl disable firewalld.service |
配置主機(jī)名，使用vi編輯器編輯文件/etc/hosts，輸入以下內(nèi)容
1 | bigdata111 192.168.157.111 |
配置免密碼登錄，在命令行中輸入下面的命令
1 2 | ssh-keygen -t rsassh-copy-id -i .ssh/id_rsa.pub root@bigdata111 |
通過FTP工具將jdk-8u181-linux-x64.tar.gz和hadoop-2.7.3.tar.gz上傳到Linux的/root/tools目錄
在xshell中，解壓jdk-8u181-linux-x64.tar.gz，執(zhí)行下面的命令
1 | tar -zxvf jdk-8u181-linux-x64.tar.gz -C /root/training/ |
設(shè)置Java的環(huán)境變量，使用vi編輯器編輯~/.bash_profile文件。執(zhí)行下面的命令
1 | vi /root/.bash_profile |
在vi編輯器中，輸入以下內(nèi)容
1 2 3 4 5 | JAVA_HOME=/root/training/jdk1.8.0_181export JAVA_HOMEPATH=$JAVA_HOME/bin:$PATHexport PATH |
生效環(huán)境變量，執(zhí)行下面的命令
1 | source /root/.bash_profile |
輸入下圖中，紅框中的命令驗(yàn)證Java環(huán)境
執(zhí)行下面的命令，解壓hadoop-2.7.3.tar.gz
1 | tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/ |
設(shè)置Hadoop的環(huán)境變量，編輯~/.bash_profile文件，并輸入以下內(nèi)容
1 2 3 4 5 | HADOOP_HOME=/root/training/hadoop-2.7.3export HADOOP_HOMEPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport PATH |
生效環(huán)境變量
1 | source ~/.bash_profile |
進(jìn)入目錄/root/training/hadoop-2.7.3/etc/hadoop
使用vi編輯器編輯文件：hadoop-env.sh
修改JAVA_HOME
1 | export JAVA_HOME=/root/training/jdk1.8.0_181 |
測(cè)試Hadoop的本地模式，執(zhí)行MapReduce程序。準(zhǔn)備測(cè)試數(shù)據(jù)：vi ~/temp/data.txt
輸入下面的數(shù)據(jù)，并保存退出
進(jìn)入目錄：/root/training/hadoop-2.7.3/share/hadoop/mapreduce
執(zhí)行WordCount任務(wù)
1 | hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp /root/output/wc |
根據(jù)下圖的命令，查看輸出結(jié)果
首先，搭建好Hadoop的本地模式
創(chuàng)建目錄：/root/training/hadoop-2.7.3/tmp
1 | mkdir /root/training/hadoop-2.7.3/tmp |
進(jìn)入目錄：/root/training/hadoop-2.7.3/etc/hadoop
1 | cd /root/training/hadoop-2.7.3/etc/hadoop |
修改hdfs-site.xml
1 2 3 4 | /name> /value></property> |
修改core-site.xml
1 2 3 4 5 6 7 8 9 10 11 12 13 | /name> //bigdata111:9000</value></property> dir</name> /root/training/hadoop-2.7.3/tmp</value></property> |
修改mapred-site.xml（注意：這個(gè)文件默認(rèn)沒有）
1 2 3 4 | /name> /value></property> |
修改yarn-site.xml
1 2 3 4 5 6 7 8 9 10 11 | hostname</name> /value></property> /name> /value></property> |
格式化NameNode
1 | hdfs namenode -format |
啟動(dòng)Hadoop
1 | start-all.sh |
訪問Web Console
1 2 | http://192.168.157.111:50070http://192.168.157.111:8088 |
到此，相信大家對(duì)“如何搭建Hadoop的環(huán)境”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！
重慶分公司
重慶分公司
