這篇文章主要介紹“怎么安裝配置MapReduce”，在日常操作中，相信很多人在怎么安裝配置MapReduce問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”怎么安裝配置MapReduce”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！
專注于為中小企業(yè)提供網(wǎng)站建設(shè)、網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)靜樂(lè)免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了成百上千企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
win10 安裝hadoop 3.1.2
解壓 tar.gz
配置JAVA_HOME
配置HADOOP_HOME ,PATH等
重慶分公司
重慶分公司
tar -zxvf hadoop-3.1.2.tar
vim .bashrc
export JAVA_HOME
export PATH=$PATH:${JAVA_HOME}/bin
export HADOOP_HOME
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbinhdoop version 驗(yàn)證是否成功
三種模式
獨(dú)立（或本地）模式，無(wú)需運(yùn)行任何守護(hù)進(jìn)程，所有程序都在同一個(gè)JVM上執(zhí)行。適合測(cè)試和調(diào)試MapReduce 程序
偽分布式，運(yùn)行在本地機(jī)器上，模擬一個(gè)小規(guī)模的集群
全分布式
修改配置文件，參照代碼 -- hdoopconfig
配置ssh
ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ssh localhost #測(cè)試
格式化HDFS hdfs namenode -format
啟動(dòng)和終止守護(hù)進(jìn)程
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
終止服務(wù)
mr-jobhistory-daemon.sh stop historyserver
stop-yarn.sh
stop-dfs.sh
創(chuàng)建用戶目錄
hadoop fs -mkdir -p /user/$USER
新api 位于 org.apache.hadoop.mapreduce
新api 大量使用了 Context
新api 通過(guò)Job來(lái)完成作業(yè)控制
hadoop 權(quán)威指代碼
數(shù)據(jù)流
輸入數(shù)據(jù) MapReduce 程序 配置信息
Hadoop 將作業(yè)分成若干個(gè)任務(wù)來(lái)執(zhí)行,并通過(guò) YARN進(jìn)行調(diào)度。如果一個(gè)任務(wù)失敗，它將在另一個(gè)不同的節(jié)點(diǎn)上自動(dòng)重新調(diào)度運(yùn)行
Hadoop將MapReduce 的輸入數(shù)據(jù)劃分成等長(zhǎng)的小數(shù)據(jù)塊，成為輸入分片。每個(gè)分片構(gòu)建一個(gè)map任務(wù)
分片大小要合適，一個(gè)合理分片大小趨向于HDFS一個(gè)塊的大小默認(rèn)128MB
Hadoop 在存儲(chǔ)有輸入數(shù)據(jù)（HDFS中的數(shù)據(jù)）的節(jié)點(diǎn)上運(yùn)行map任務(wù)，可獲得最佳性能，因?yàn)椴恍枰褂脦捹Y源
map任務(wù)將輸出寫(xiě)入本地硬盤(pán)而非HDFS，因?yàn)槭侵虚g結(jié)果
混洗？
combiner 函數(shù)
combiner 函數(shù)輸出作為reduce 函數(shù)的輸入，可以減少map和reduce任務(wù)之間的數(shù)據(jù)傳輸
combiner的規(guī)則制約著可用的函數(shù)類型
不能取代reduce ,例如求平均值得程序就不能用combiner
hadoop Streaming
允許使用非java 語(yǔ)言開(kāi)發(fā)MapReduce
到此，關(guān)于“怎么安裝配置MapReduce”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！
