本篇內(nèi)容主要講解“hadoop0.20.2集群搭建Ubuntu14.04環(huán)境的方法”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“hadoop0.20.2集群搭建Ubuntu14.04環(huán)境的方法”吧!
成都創(chuàng)新互聯(lián)專(zhuān)注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、越城網(wǎng)絡(luò)推廣、小程序制作、越城網(wǎng)絡(luò)營(yíng)銷(xiāo)、越城企業(yè)策劃、越城品牌公關(guān)、搜索引擎seo、人物專(zhuān)訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；成都創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供越城建站搭建服務(wù)，24小時(shí)服務(wù)熱線：028-86922220，官方網(wǎng)址：www.cdcxhl.com
配前準(zhǔn)備
一. 安裝環(huán)境：Ubuntu 14.04 ---------一共三臺(tái)機(jī)器
其中一臺(tái)namenode＋jobtracker (master) , 兩臺(tái) datanode + tasktracker(hadoop, salve1)
下表為各個(gè)機(jī)器的具體內(nèi)容
ip username/password hostname
10.60.38.165 hadoop/123456 hadoop
10.60.38.166 hadoop/123456 master
10.60.38.155 hadoop/123456 salve1 (......居然拼錯(cuò)了，我靠）
在每臺(tái)機(jī)器的/etc/hosts 下面 添加
10.60.38.165 hadoop
10.60.38.166 master
10.60.38.155 salve1
使得各臺(tái)機(jī)器相互之間可以ping通(通過(guò)hostname可以ping）
（ps: /etc/hosts 里面的數(shù)據(jù)全部清空，只留上面的三個(gè) 以及第一項(xiàng): 127.0.0.1 localhost )
二. SSH 無(wú)密碼驗(yàn)證配置
1.因?yàn)榇蟛糠諰inux里面默認(rèn)已經(jīng)安裝好了ssh，我在安裝時(shí)已經(jīng)默認(rèn)安裝好，但是ssh service 沒(méi)有安裝，使用 sudo apt-get install openssh-server 來(lái)安裝 ssh service。（確保 22端口號(hào)處于監(jiān)聽(tīng)狀態(tài)：netstat -nat 查看）
2.在每臺(tái)機(jī)器上都執(zhí)行 下面命令： ssh-kengen -t rsa -P ""
一路enter (將密鑰的位置保存在默認(rèn)的路徑下）
在user的當(dāng)前目錄下出現(xiàn)目錄/.ssh(默認(rèn)的權(quán)限為700）
里面生成兩個(gè)文件 id_rsa 和 id_rsa.pub
3.接著在 Master 節(jié)點(diǎn)上做如下配置把id_rsa.pub 追加到授權(quán)的key 里面
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4.下面在其他兩臺(tái)機(jī)器上依次執(zhí)行命令將各自生成的id_rsa.pub 添加到Master 下的authorized_keys 里面
cat id_rsa.pub | ssh hadoop@master "cat >> ~/.ssh/authorized_keys ( 此時(shí) ssh 到 另外一臺(tái)機(jī)器上 需要另外一臺(tái)機(jī)器的密碼）
5.最后將Master 機(jī)器上得到的 authorized_keys 依次添加到 各臺(tái)機(jī)器的 /home/hadoop/.ssh 目錄下
scp authorized_keys hadoop@hadoop :~/.ssh
scp authorized_keys hadoop@salve1:~/.ssh
6.配置完成后在每一臺(tái)機(jī)器上都可以無(wú)密碼驗(yàn)證登錄另外一臺(tái)機(jī)器了。于是這一步搞定。
在每臺(tái)機(jī)器上安裝jdk 和 Hadoop
配置Hadoop (此處我的版本為hadoop0.20.2，jdk1.7）
----在配置文件中設(shè)值時(shí)，兩邊千萬(wàn)不能有空格，不然無(wú)效。
接下來(lái)配置配置文件：hadoop-env.sh, core-site.xml, hdfs-site.xml, mapred-site.xml
PS:
對(duì)于hadoop-env.sh 各個(gè)節(jié)點(diǎn)的配置都是相同的。
對(duì)于master節(jié)點(diǎn)，需要額外配置slaves 文件，在里面添加各個(gè)datanode 的ip 地址
下面附上master節(jié)點(diǎn)與Hadoop節(jié)點(diǎn)的配置（salve1與Hadoop類(lèi)似，只需修改對(duì)于的ip,這里我已經(jīng)大部分采用系統(tǒng)默認(rèn)配置，所以無(wú)需更改）
hadoop-env.sh:
export JAVA_HOME=/opt/jdk1.7
(就在最后面加上即可）
core-site.xml:
ps: 這里當(dāng)我添加屬性 hadoop.tmp.dir 改變其默認(rèn)路徑時(shí)，集群在啟動(dòng)時(shí)報(bào)錯(cuò)。。。。未解，先暫時(shí)啟用默認(rèn)路徑。還望大神指教。
hdfs-site.xml:
mapred-site.xml:
slaves:
10.60.38.165 hadoop
10.60.38.155 salve1
masters:
master
在master節(jié)點(diǎn)配置好了然后復(fù)制到各個(gè)Datanode 節(jié)點(diǎn)。
注意：這里的master, slaves 文件在復(fù)制的時(shí)候可以不用變動(dòng)，系統(tǒng)會(huì)自動(dòng)忽略。而且配置都不需要改變，因?yàn)橐呀?jīng)盡量采用了默認(rèn)配置
---------------------------------------------------------------------------------------------------------------------
測(cè)試運(yùn)行
經(jīng)過(guò)以下幾步：
1.create some files（file01.txt, file02.txt)
2.hadoop fs -mkdir input
3.hadoop fs -put file*.txt input
4.hadoop jar /opt/hadoop/hadoop-0.20.2-examples.jar wordcount input output
5.hadoop fs -ls output
6.hadoop fs -cat output/part-r-00000
最得到結(jié)果:
;slkdfj 1
aer 1
apple 1
are 1
asfjjjf 1
c++ 1
fj 1
hello 2
java 3
tantairs 1
world 4
到此，相信大家對(duì)“hadoop0.20.2集群搭建Ubuntu14.04環(huán)境的方法”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢(xún)，關(guān)注我們，繼續(xù)學(xué)習(xí)！
重慶分公司
重慶分公司
