從事軟件開發(fā)將近四年，一直熱衷于各種技術(shù)語言，但是感覺自己始終都不知道自己到底喜歡從事哪個(gè)方面的開發(fā)，畢業(yè)的前兩年一直在大連做對(duì)日軟件外包，做了兩年后覺得真的沒有什么意思，軟件的設(shè)計(jì)都不是自己做的，只是需要按照需求進(jìn)行程序的書寫，所以和幾個(gè)同事一直離職后來了北京，其實(shí)來到北京想的和現(xiàn)實(shí)還是不一樣，最后我還是干了類似外包的項(xiàng)目，寫這篇日記我心里一直很不確定自己喜歡什么樣的技術(shù)喜歡什么樣的語言，所以我這回準(zhǔn)備開始寫blog來記錄自己的學(xué)習(xí)的點(diǎn)點(diǎn)滴滴，我心里優(yōu)先喜歡的就是手機(jī)開發(fā)，好在現(xiàn)在的工作給我很多空閑的時(shí)間，讓我有很大的空間學(xué)習(xí)，所以再這里給自己一個(gè)鼓勵(lì)爭(zhēng)取一周至少一篇關(guān)于自己學(xué)習(xí)的blog。我學(xué)習(xí)的方向現(xiàn)在分兩個(gè)方向，最后來確定自己到底喜歡哪個(gè)，再為之努力奮斗。一個(gè)就是手機(jī)方向，一個(gè)就是Hadoop方向。我覺得未來中國(guó)的軟件市場(chǎng)是非常大的，手機(jī)互聯(lián)網(wǎng)這不用說現(xiàn)在還是很熱，將來可能會(huì)慢慢趨于穩(wěn)定，但總之這10幾年應(yīng)該還是很穩(wěn)定的，我對(duì)未來的看法就是未來數(shù)據(jù)是王道，誰掌握了越多的數(shù)據(jù)誰就能掌握主動(dòng)權(quán)，但掌握數(shù)據(jù)多沒有用，得要合理分析所有的數(shù)據(jù)，才能把數(shù)據(jù)轉(zhuǎn)化為相應(yīng)的價(jià)值。所以另一個(gè)方向就是研究大數(shù)據(jù)，大數(shù)據(jù)的處理。今天這篇blog就來說說Hadoop的大數(shù)據(jù)處理心得筆記。我現(xiàn)在看的這本就是《Hadoop權(quán)威指南第二版中文版》。通過學(xué)習(xí)來一步一步成長(zhǎng)，也算是自己的學(xué)習(xí)記錄吧。
開始記錄筆記:
Hadoop是apache里的一個(gè)開源的項(xiàng)目。核心是谷歌公司的對(duì)于大數(shù)據(jù)處理的框架，基于MapReduce軟件設(shè)計(jì)模型。是大數(shù)據(jù)分布式系統(tǒng)的一個(gè)開源軟件項(xiàng)目，對(duì)于處理大數(shù)據(jù)分析現(xiàn)在是比較主流的軟件框架。
hadoop處理方式:數(shù)據(jù)輸入->MapReduce的程序和配置->輸出。
Map任務(wù):數(shù)據(jù)的key，value生成。輸出到本地磁盤，因?yàn)槭侵虚g結(jié)果，如果放在HDFS(分布式文件系統(tǒng))未免小題大做。
Reduce任務(wù):數(shù)據(jù)的解析，輸出自己預(yù)期的結(jié)果。輸出到HDFS，以實(shí)現(xiàn)可靠數(shù)據(jù)。
我的理解Reduce相當(dāng)一個(gè)統(tǒng)領(lǐng)全局的人，它需要某種規(guī)則的數(shù)據(jù)就需要map來給它提供，map里可以通過分區(qū)提供給不同的Reduce去處理。當(dāng)沒有Reduce時(shí)，map就直接發(fā)送到HDFS上。
map和Reduce中可以有個(gè)合并函數(shù)進(jìn)行過度，合并函數(shù)在map里運(yùn)用可以減少對(duì)于map輸出的數(shù)據(jù)量。有效減少map和Reduce之間的數(shù)據(jù)傳輸量。但對(duì)于合并函數(shù)還是視情況運(yùn)用。比如求平均值等一些需要全數(shù)據(jù)的時(shí)候就不能使用。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
