MapReduce應(yīng)該如何應(yīng)用開發(fā)，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

10年積累的網(wǎng)站設(shè)計制作、成都網(wǎng)站設(shè)計經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有辰溪免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

用于配置的API

• Configuration org.apache.hadoop.conf

配置開發(fā)環(huán)境

• 不同環(huán)境使用不同的配置文件，跟web開發(fā)類同

• HADOOP_USER_NAME 設(shè)置hadoop 用戶名

• HADOOP_CONF_DIR 配置信息環(huán)境變量

• 輔助類 Configured Tool ToolRunner

• 用MRUnit 來寫單元測試

本地運行測試數(shù)據(jù)

• 在本地作業(yè)運行器上運行作業(yè)

• 測試驅(qū)動程序

• 使用本地作業(yè)運行器

• 使用一個mini集群來運行它

在集群上運行

• 打包作業(yè)

• 分布式環(huán)境打包成JAR 文件

• 啟動作業(yè)

• 作業(yè)調(diào)試

• 通過打印語句

• 計數(shù)器 可以衡量問題的嚴重程度

• 日志

• 遠程調(diào)試

作業(yè)調(diào)優(yōu)

• mapper 的數(shù)量

• reducer 的數(shù)量

• combiner

• 中間值的壓縮

• 自定義序列

• 調(diào)整 shuffle

MapReduce 的工作流

• 通常是增加更多的作業(yè)，而不是增加作業(yè)的復(fù)雜度

• 對于更復(fù)雜的問題,可考慮使用Pig, hive, Cascading, Crunch 或Spark

• JobControl

• Apache Oozie 是一個運行工作流的系統(tǒng)，該工作流由相互依賴的作業(yè)組成

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。