一·大數(shù)據(jù)概述
隨著信息技術發(fā)展的巨大變革,企業(yè)和學術機構紛紛加大技術、資金和人員投入,加強對大數(shù)據(jù)關鍵技術的研發(fā)與運用。
大數(shù)據(jù)的發(fā)展歷程總體上劃分為三個重要階段:萌芽期、成熟期和大規(guī)模應用期。
二.大數(shù)據(jù)概念
大數(shù)據(jù)的4個特點:數(shù)據(jù)量大、數(shù)據(jù)類型繁多、處理速度快和價值密度低。
三.大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關系
大數(shù)據(jù)為云計算機提供了用武之地,云計算為大數(shù)據(jù)提供了技術基礎。
物聯(lián)網(wǎng)是大數(shù)據(jù)的重要來源,大數(shù)據(jù)技術為物聯(lián)網(wǎng)數(shù)據(jù)分析提供支撐。
云計算為物聯(lián)網(wǎng)提供海量數(shù)據(jù)存儲能力,物聯(lián)網(wǎng)為云計算技術提供了廣闊的應用空間。
四.大數(shù)據(jù)處理架構Hadoop
1.Hadoop簡介
Hadoop是Apache旗下的一個開源分布式計算平臺。是基于Java語言開發(fā)的,具有很好的跨平臺性,并可以部署在一般的計算機集群中。Hadoop的核心是分布式文件系統(tǒng)HDFS和MapReduce。HDFS具有較高的讀寫速度、很好的容錯性和可伸縮性,很好的保證了數(shù)據(jù)的安全性。
其中YARN是資源調(diào)動,MapReduce是計算框架。
2.Hadoop的特性
高可靠性、高效性、高擴展性、容錯性、成本低、運行在Linux平臺上、支持多種編程語言。
3.Hadoop生態(tài)圈
創(chuàng)新互聯(lián)面向全國提供域名注冊、虛擬主機、云服務器、服務器托管與租用,如需了解,請聯(lián)系QQ:171356849微信:zh18159893430 咨詢,謝謝!