hadoop的三大組件功能:
創(chuàng)新互聯(lián)公司長期為成百上千家客戶提供的網(wǎng)站建設(shè)服務(wù),團(tuán)隊從業(yè)經(jīng)驗10年,關(guān)注不同地域、不同群體,并針對不同對象提供差異化的產(chǎn)品和服務(wù);打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為樂陵企業(yè)提供專業(yè)的網(wǎng)站制作、成都網(wǎng)站制作,樂陵網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。
Common :
工具,基礎(chǔ),為服務(wù)
MapReduce:
對海量數(shù)據(jù)的處理
分布式
思想
分而治之
大數(shù)據(jù)集分為小的數(shù)據(jù)集
每個數(shù)據(jù)集,盡心邏輯業(yè)務(wù)處理map
合并統(tǒng)計數(shù)據(jù)結(jié)果reduce
HDFS:
存儲海量數(shù)據(jù)
分布式
安全性
副本數(shù)據(jù)
數(shù)據(jù)是以block的方式進(jìn)行存儲的
NameNode
內(nèi)存
本地磁盤
fsp_w_picpath:鏡像文件
edites:編輯日志
YARN:
分布式資源管理框架
管理整個集群的資源(內(nèi)存,cpu核數(shù))
分配調(diào)度集群的資源