一.開發(fā)平臺:
?Hadoop是Apache軟件基金會旗下的一個開源分布式計(jì)算平臺
?以分布式文件系統(tǒng)(Hadoop Distributed File Syste, HDFS)和MapReduce為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明分布式基礎(chǔ)架構(gòu)
?HDFS的高容錯、高伸縮的優(yōu)點(diǎn)允許用戶將Hadoop部署在低廉的硬件上
?MapReduce則允許用戶在不了解分布式系統(tǒng)底層細(xì)節(jié)的情況下開發(fā)并行應(yīng)用程序
二.優(yōu)勢:
?高可靠性 ---因?yàn)镠adoop假設(shè)計(jì)算元素和存儲會出現(xiàn)故障,因?yàn)樗S護(hù)多個工作數(shù)據(jù)副本,在出現(xiàn)故障時可以對失敗的節(jié)點(diǎn)重新分布處理
?高擴(kuò)展性 --- 在集群間分配任務(wù)數(shù)據(jù),可方便的擴(kuò)展數(shù)以千計(jì)的節(jié)點(diǎn)
?高效性 ---在MapReduce的思想下,Hadoop是并行工作的,以加快任務(wù)處理速度
?高容錯性 --- 自動保存多份副本數(shù)據(jù),并且能夠自動將失敗的任務(wù)重新分配
三.應(yīng)用及發(fā)展趨勢:
?Yahoo :通過集群運(yùn)行Hadoop,以支持廣告系統(tǒng)和Web搜索
?FaceBook: (Hive貢獻(xiàn)者)借助Hadoop來支持其數(shù)據(jù)分析和機(jī)器學(xué)習(xí)
?淘寶:國內(nèi)使用Hadoop最深入的公司,整個淘寶和阿里都是數(shù)據(jù)驅(qū)動的
?華為:云計(jì)算平臺
?優(yōu)酷:日志分析、推薦等
?奇虎360:存儲軟件管家中的軟件,日志分析和數(shù)據(jù)挖掘
?百度: 國內(nèi)使用Hadoop最早的公司,存儲、日志分析、推薦、機(jī)器學(xué)習(xí)等
網(wǎng)站建設(shè)哪家好,找創(chuàng)新互聯(lián)公司!專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了清水免費(fèi)建站歡迎大家使用!