這篇文章主要介紹“自動化HDFS數(shù)據(jù)復(fù)制機制的簡單用法”，在日常操作中，相信很多人在自動化HDFS數(shù)據(jù)復(fù)制機制的簡單用法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”自動化HDFS數(shù)據(jù)復(fù)制機制的簡單用法”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！
在本章的前半部分，我們研究了兩種可以將半結(jié)構(gòu)化和二進制數(shù)據(jù)轉(zhuǎn)換為HDFS的機制：開源HDFS File Slurper項目和Oozie，它們觸發(fā)了數(shù)據(jù)入口工作流程。使用本地文件系統(tǒng)進行輸入(以及輸出)的挑戰(zhàn)是，在集群上運行的map和reduce任務(wù)將無法訪問特定服務(wù)器上的文件系統(tǒng)，將數(shù)據(jù)從HDFS移動到文件系統(tǒng)有三個廣泛的選擇：
在服務(wù)器(例如Web服務(wù)器)上托管agent，然后使用MapReduce將其寫入。
在MapReduce中寫入本地文件系統(tǒng)，然后在后處理步驟中觸發(fā)遠程服務(wù)器上的腳本以移動該數(shù)據(jù)。
在遠程服務(wù)器上運行進程以直接從HDFS提取數(shù)據(jù)。
第三種選擇是選方法，因為最簡單且最有效，因此這是本節(jié)的重點。我們將了解如何使用HDFS File Slurper自動將文件從HDFS移出到本地文件系統(tǒng)。
從HDFS導(dǎo)出文件的自動機制
假設(shè)有MapReduce用HDFS編寫的文件，你想要將它們自動提取到本地文件系統(tǒng)。任何Hadoop工具都不支持此類功能，因此必須查看其他方法。
問題
自動將文件從HDFS移動到本地文件系統(tǒng)。
解決方案
HDFS文件Slurper可用于將文件從HDFS復(fù)制到本地文件系統(tǒng)。
討論
這里的目標是使用HDFS File Slurper項目(https://github.com/alexholmes/ hdfs-file-slurper)來協(xié)助自動化。我們在前文詳細介紹了HDFS File Slurper，請在繼續(xù)使用此技術(shù)之前閱讀該部分。
HDFS Slurper支持將數(shù)據(jù)從HDFS移動到本地目錄，我們需要做的就是翻轉(zhuǎn)源目錄和目標目錄，如Slurper配置文件以下所示：
你會注意到，HDFS中不僅有源目錄，而且還有工作，完成和錯誤目錄。這是因為需要能夠在目錄之間自動移動文件，而不會產(chǎn)生跨文件系統(tǒng)復(fù)制的昂貴開銷。
總結(jié)
此時，你可能想知道如何觸發(fā)Slurper來復(fù)制剛剛使用MapReduce作業(yè)編寫的目錄。當MapReduce作業(yè)成功完成時，它會在作業(yè)輸出目錄中創(chuàng)建一個名為_SUCCESS的文件。這似乎是啟動輸出進程將該內(nèi)容復(fù)制到本地文件系統(tǒng)的完美觸發(fā)器。事實證明，Oozie有一種機制可以在檢測到這些Hadoop文件“成功”時觸發(fā)工作流程，但這里的挑戰(zhàn)是Oozie執(zhí)行的任何工作都是在MapReduce中執(zhí)行的，所以它不能用于執(zhí)行直接轉(zhuǎn)移?？梢跃帉懽约旱哪_本，輪詢HDFS以查找已完成的目錄，然后觸發(fā)文件復(fù)制過程。如果源文件需要保持不變，那么文件復(fù)制過程可以是Slurper或簡單的hadoop fs -get命令。
到此，關(guān)于“自動化HDFS數(shù)據(jù)復(fù)制機制的簡單用法”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
本文標題：自動化HDFS數(shù)據(jù)復(fù)制機制的簡單用法-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://weahome.cn/article/djjhjj.html
重慶分公司
重慶分公司
