大數(shù)據(jù)的由來(lái)
成都創(chuàng)新互聯(lián)主營(yíng)富民網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,app軟件開(kāi)發(fā),富民h5微信小程序開(kāi)發(fā)搭建,富民網(wǎng)站營(yíng)銷推廣歡迎富民等地區(qū)企業(yè)咨詢
對(duì)于“大數(shù)據(jù)”（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。
1
麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。
大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。
從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)。
大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。
最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
大數(shù)據(jù)的應(yīng)用領(lǐng)域
大數(shù)據(jù)無(wú)處不在，大數(shù)據(jù)應(yīng)用于各個(gè)行業(yè)，包括金融、 汽車 、餐飲、電信、能源、體能和 娛樂(lè) 等在內(nèi)的 社會(huì) 各行各業(yè)都已經(jīng)融入了大數(shù)據(jù)的印跡。
制造業(yè)，利用工業(yè)大數(shù)據(jù)提升制造業(yè)水平，包括產(chǎn)品故障診斷與預(yù)測(cè)、分析工藝流程、改進(jìn)生產(chǎn)工藝，優(yōu)化生產(chǎn)過(guò)程能耗、工業(yè)供應(yīng)鏈分析與優(yōu)化、生產(chǎn)計(jì)劃與排程。
金融行業(yè)，大數(shù)據(jù)在高頻交易、社交情緒分析和信貸風(fēng)險(xiǎn)分析三大金融創(chuàng)新領(lǐng)域發(fā)揮重大作用。
汽車 行業(yè)，利用大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)的無(wú)人駕駛 汽車 ，在不遠(yuǎn)的未來(lái)將走入我們的日常生活。
互聯(lián)網(wǎng)行業(yè)，借助于大數(shù)據(jù)技術(shù)，可以分析客戶行為，進(jìn)行商品推薦和針對(duì)性廣告投放。
電信行業(yè)，利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)客戶離網(wǎng)分析，及時(shí)掌握客戶離網(wǎng)傾向，出臺(tái)客戶挽留措施。
能源行業(yè)，隨著智能電網(wǎng)的發(fā)展，電力公司可以掌握海量的用戶用電信息，利用大數(shù)據(jù)技術(shù)分析用戶用電模式，可以改進(jìn)電網(wǎng)運(yùn)行，合理設(shè)計(jì)電力需求響應(yīng)系統(tǒng)，確保電網(wǎng)運(yùn)行安全。
物流行業(yè)，利用大數(shù)據(jù)優(yōu)化物流網(wǎng)絡(luò)，提高物流效率，降低物流成本。
城市管理，可以利用大數(shù)據(jù)實(shí)現(xiàn)智能交通、環(huán)保監(jiān)測(cè)、城市規(guī)劃和智能安防。
體育 娛樂(lè) ，大數(shù)據(jù)可以幫助我們訓(xùn)練球隊(duì)，決定投拍哪種 題財(cái)?shù)?影視作品，以及預(yù)測(cè)比賽結(jié)果。
安全領(lǐng)域，政府可以利用大數(shù)據(jù)技術(shù)構(gòu)建起強(qiáng)大的國(guó)家安全保障體系，企業(yè)可以利用大數(shù)據(jù)抵御網(wǎng)絡(luò)攻擊，警察可以借助大數(shù)據(jù)來(lái)預(yù)防犯罪。
個(gè)人生活， 大數(shù)據(jù)還可以應(yīng)用于個(gè)人生活，利用與每個(gè)人相關(guān)聯(lián)的“個(gè)人大數(shù)據(jù)”，分析個(gè)人生活行為習(xí)慣，為其提供更加周到的個(gè)性化服務(wù)。
大數(shù)據(jù)的價(jià)值，遠(yuǎn)遠(yuǎn)不止于此，大數(shù)據(jù)對(duì)各行各業(yè)的滲透，大大推動(dòng)了 社會(huì) 生產(chǎn)和生活，未來(lái)必將產(chǎn)生重大而深遠(yuǎn)的影響。
大數(shù)據(jù)方面核心技術(shù)有哪些？
大數(shù)據(jù)技術(shù)的體系龐大且復(fù)雜，基礎(chǔ)的技術(shù)包含數(shù)據(jù)的采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、NoSQL數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等各種技術(shù)范疇和不同的技術(shù)層面。首先給出一個(gè)通用化的大數(shù)據(jù)處理框架，主要分為下面幾個(gè)方面：數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)查詢分析和數(shù)據(jù)可視化。
數(shù)據(jù)采集與預(yù)處理
對(duì)于各種來(lái)源的數(shù)據(jù)，包括移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)、社交網(wǎng)絡(luò)的數(shù)據(jù)等，這些結(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)是零散的，也就是所謂的數(shù)據(jù)孤島，此時(shí)的這些數(shù)據(jù)并沒(méi)有什么意義，數(shù)據(jù)采集就是將這些數(shù)據(jù)寫入數(shù)據(jù)倉(cāng)庫(kù)中，把零散的數(shù)據(jù)整合在一起，對(duì)這些數(shù)據(jù)綜合起來(lái)進(jìn)行分析。數(shù)據(jù)采集包括文件日志的采集、數(shù)據(jù)庫(kù)日志的采集、關(guān)系型數(shù)據(jù)庫(kù)的接入和應(yīng)用程序的接入等。在數(shù)據(jù)量比較小的時(shí)候，可以寫個(gè)定時(shí)的腳本將日志寫入存儲(chǔ)系統(tǒng)，但隨著數(shù)據(jù)量的增長(zhǎng)，這些方法無(wú)法提供數(shù)據(jù)安全保障，并且運(yùn)維困難，需要更強(qiáng)壯的解決方案。
Flume NG
Flume NG作為實(shí)時(shí)日志收集系統(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)，同時(shí)，對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三層架構(gòu)：Agent層，Collector層和Store層，每一層均可水平拓展。其中Agent包含Source，Channel和 Sink，source用來(lái)消費(fèi)(收集)數(shù)據(jù)源到channel組件中，channel作為中間臨時(shí)存儲(chǔ)，保存所有source的組件信息，sink從channel中讀取數(shù)據(jù)，讀取成功之后會(huì)刪除channel中的信息。
NDC
Logstash
Logstash是開(kāi)源的服務(wù)器端數(shù)據(jù)處理管道，能夠同時(shí)從多個(gè)來(lái)源采集數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到您最喜歡的 “存儲(chǔ)庫(kù)” 中。一般常用的存儲(chǔ)庫(kù)是Elasticsearch。Logstash 支持各種輸入選擇，可以在同一時(shí)間從眾多常用的數(shù)據(jù)來(lái)源捕捉事件，能夠以連續(xù)的流式傳輸方式，輕松地從您的日志、指標(biāo)、Web 應(yīng)用、數(shù)據(jù)存儲(chǔ)以及各種 AWS 服務(wù)采集數(shù)據(jù)。
Sqoop
Sqoop，用來(lái)將關(guān)系型數(shù)據(jù)庫(kù)和Hadoop中的數(shù)據(jù)進(jìn)行相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)(例如Mysql、Oracle)中的數(shù)據(jù)導(dǎo)入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)(例如Mysql、Oracle)中。Sqoop 啟用了一個(gè) MapReduce 作業(yè)(極其容錯(cuò)的分布式并行計(jì)算)來(lái)執(zhí)行任務(wù)。Sqoop 的另一大優(yōu)勢(shì)是其傳輸大量結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的過(guò)程是完全自動(dòng)化的。
流式計(jì)算
流式計(jì)算是行業(yè)研究的一個(gè)熱點(diǎn)，流式計(jì)算對(duì)多個(gè)高吞吐量的數(shù)據(jù)源進(jìn)行實(shí)時(shí)的清洗、聚合和分析，可以對(duì)存在于社交網(wǎng)站、新聞等的數(shù)據(jù)信息流進(jìn)行快速的處理并反饋，目前大數(shù)據(jù)流分析工具有很多，比如開(kāi)源的strom，spark streaming等。
Strom集群結(jié)構(gòu)是有一個(gè)主節(jié)點(diǎn)(nimbus)和多個(gè)工作節(jié)點(diǎn)(supervisor)組成的主從結(jié)構(gòu)，主節(jié)點(diǎn)通過(guò)配置靜態(tài)指定或者在運(yùn)行時(shí)動(dòng)態(tài)選舉，nimbus與supervisor都是Storm提供的后臺(tái)守護(hù)進(jìn)程，之間的通信是結(jié)合Zookeeper的狀態(tài)變更通知和監(jiān)控通知來(lái)處理。nimbus進(jìn)程的主要職責(zé)是管理、協(xié)調(diào)和監(jiān)控集群上運(yùn)行的topology(包括topology的發(fā)布、任務(wù)指派、事件處理時(shí)重新指派任務(wù)等)。supervisor進(jìn)程等待nimbus分配任務(wù)后生成并監(jiān)控worker(jvm進(jìn)程)執(zhí)行任務(wù)。supervisor與worker運(yùn)行在不同的jvm上，如果由supervisor啟動(dòng)的某個(gè)worker因?yàn)殄e(cuò)誤異常退出(或被kill掉)，supervisor會(huì)嘗試重新生成新的worker進(jìn)程。
Zookeeper
Zookeeper是一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，提供數(shù)據(jù)同步服務(wù)。它的作用主要有配置管理、名字服務(wù)、分布式鎖和集群管理。配置管理指的是在一個(gè)地方修改了配置，那么對(duì)這個(gè)地方的配置感興趣的所有的都可以獲得變更，省去了手動(dòng)拷貝配置的繁瑣，還很好的保證了數(shù)據(jù)的可靠和一致性，同時(shí)它可以通過(guò)名字來(lái)獲取資源或者服務(wù)的地址等信息，可以監(jiān)控集群中機(jī)器的變化，實(shí)現(xiàn)了類似于心跳機(jī)制的功能。
數(shù)據(jù)存儲(chǔ)
Hadoop作為一個(gè)開(kāi)源的框架，專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)，HDFS作為其核心的存儲(chǔ)引擎，已被廣泛用于數(shù)據(jù)存儲(chǔ)。
HBase
HBase，是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，可以認(rèn)為是hdfs的封裝，本質(zhì)是數(shù)據(jù)存儲(chǔ)、NoSQL數(shù)據(jù)庫(kù)。HBase是一種Key/Value系統(tǒng)，部署在hdfs上，克服了hdfs在隨機(jī)讀寫這個(gè)方面的缺點(diǎn)，與hadoop一樣，Hbase目標(biāo)主要依靠橫向擴(kuò)展，通過(guò)不斷增加廉價(jià)的商用服務(wù)器，來(lái)增加計(jì)算和存儲(chǔ)能力。
Phoenix
Phoenix，相當(dāng)于一個(gè)Java中間件，幫助開(kāi)發(fā)工程師能夠像使用JDBC訪問(wèn)關(guān)系型數(shù)據(jù)庫(kù)一樣訪問(wèn)NoSQL數(shù)據(jù)庫(kù)HBase。
Yarn
Yarn是一種Hadoop資源管理器，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來(lái)了巨大好處。Yarn由下面的幾大組件構(gòu)成：一個(gè)全局的資源管理器ResourceManager、ResourceManager的每個(gè)節(jié)點(diǎn)代理NodeManager、表示每個(gè)應(yīng)用的Application以及每一個(gè)ApplicationMaster擁有多個(gè)Container在NodeManager上運(yùn)行。
Mesos
Mesos是一款開(kāi)源的集群管理軟件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應(yīng)用架構(gòu)。
Redis
Redis是一種速度非?？斓姆顷P(guān)系數(shù)據(jù)庫(kù)，可以存儲(chǔ)鍵與5種不同類型的值之間的映射，可以將存儲(chǔ)在內(nèi)存的鍵值對(duì)數(shù)據(jù)持久化到硬盤中，使用復(fù)制特性來(lái)擴(kuò)展性能，還可以使用客戶端分片來(lái)擴(kuò)展寫性能。
Atlas
Atlas是一個(gè)位于應(yīng)用程序與MySQL之間的中間件。在后端DB看來(lái)，Atlas相當(dāng)于連接它的客戶端，在前端應(yīng)用看來(lái)，Atlas相當(dāng)于一個(gè)DB。Atlas作為服務(wù)端與應(yīng)用程序通訊，它實(shí)現(xiàn)了MySQL的客戶端和服務(wù)端協(xié)議，同時(shí)作為客戶端與MySQL通訊。它對(duì)應(yīng)用程序屏蔽了DB的細(xì)節(jié)，同時(shí)為了降低MySQL負(fù)擔(dān)，它還維護(hù)了連接池。Atlas啟動(dòng)后會(huì)創(chuàng)建多個(gè)線程，其中一個(gè)為主線程，其余為工作線程。主線程負(fù)責(zé)監(jiān)聽(tīng)所有的客戶端連接請(qǐng)求，工作線程只監(jiān)聽(tīng)主線程的命令請(qǐng)求。
Kudu
Kudu是圍繞Hadoop生態(tài)圈建立的存儲(chǔ)引擎，Kudu擁有和Hadoop生態(tài)圈共同的設(shè)計(jì)理念，它運(yùn)行在普通的服務(wù)器上、可分布式規(guī)?；渴稹⒉⑶覞M足工業(yè)界的高可用要求。其設(shè)計(jì)理念為fast analytics on fast data。作為一個(gè)開(kāi)源的存儲(chǔ)引擎，可以同時(shí)提供低延遲的隨機(jī)讀寫和高效的數(shù)據(jù)分析能力。Kudu不但提供了行級(jí)的插入、更新、刪除API，同時(shí)也提供了接近Parquet性能的批量掃描操作。使用同一份存儲(chǔ)，既可以進(jìn)行隨機(jī)讀寫，也可以滿足數(shù)據(jù)分析的要求。Kudu的應(yīng)用場(chǎng)景很廣泛，比如可以進(jìn)行實(shí)時(shí)的數(shù)據(jù)分析，用于數(shù)據(jù)可能會(huì)存在變化的時(shí)序數(shù)據(jù)應(yīng)用等。
在數(shù)據(jù)存儲(chǔ)過(guò)程中，涉及到的數(shù)據(jù)表都是成千上百列，包含各種復(fù)雜的Query，推薦使用列式存儲(chǔ)方法，比如parquent,ORC等對(duì)數(shù)據(jù)進(jìn)行壓縮。Parquet 可以支持靈活的壓縮選項(xiàng)，顯著減少磁盤上的存儲(chǔ)。
數(shù)據(jù)清洗
MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計(jì)算，”Map(映射)”和”Reduce(歸約)”，是它的主要思想。它極大的方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)中。
隨著業(yè)務(wù)數(shù)據(jù)量的增多，需要進(jìn)行訓(xùn)練和清洗的數(shù)據(jù)會(huì)變得越來(lái)越復(fù)雜，這個(gè)時(shí)候就需要任務(wù)調(diào)度系統(tǒng)，比如oozie或者azkaban，對(duì)關(guān)鍵任務(wù)進(jìn)行調(diào)度和監(jiān)控。
Oozie
Oozie是用于Hadoop平臺(tái)的一種工作流調(diào)度引擎，提供了RESTful API接口來(lái)接受用戶的提交請(qǐng)求(提交工作流作業(yè))，當(dāng)提交了workflow后，由工作流引擎負(fù)責(zé)workflow的執(zhí)行以及狀態(tài)的轉(zhuǎn)換。用戶在HDFS上部署好作業(yè)(MR作業(yè))，然后向Oozie提交Workflow，Oozie以異步方式將作業(yè)(MR作業(yè))提交給Hadoop。這也是為什么當(dāng)調(diào)用Oozie 的RESTful接口提交作業(yè)之后能立即返回一個(gè)JobId的原因，用戶程序不必等待作業(yè)執(zhí)行完成(因?yàn)橛行┐笞鳂I(yè)可能會(huì)執(zhí)行很久(幾個(gè)小時(shí)甚至幾天))。Oozie在后臺(tái)以異步方式，再將workflow對(duì)應(yīng)的Action提交給hadoop執(zhí)行。
Azkaban
Azkaban也是一種工作流的控制引擎，可以用來(lái)解決有多個(gè)hadoop或者spark等離線計(jì)算任務(wù)之間的依賴關(guān)系問(wèn)題。azkaban主要是由三部分構(gòu)成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban將大多數(shù)的狀態(tài)信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、認(rèn)證、調(diào)度以及對(duì)工作流執(zhí)行過(guò)程中的監(jiān)控等;Azkaban Executor Server用來(lái)調(diào)度工作流和任務(wù)，記錄工作流或者任務(wù)的日志。
流計(jì)算任務(wù)的處理平臺(tái)Sloth，是網(wǎng)易首個(gè)自研流計(jì)算平臺(tái)，旨在解決公司內(nèi)各產(chǎn)品日益增長(zhǎng)的流計(jì)算需求。作為一個(gè)計(jì)算服務(wù)平臺(tái)，其特點(diǎn)是易用、實(shí)時(shí)、可靠，為用戶節(jié)省技術(shù)方面(開(kāi)發(fā)、運(yùn)維)的投入，幫助用戶專注于解決產(chǎn)品本身的流計(jì)算需求
數(shù)據(jù)查詢分析
Hive
Hive的核心工作就是把SQL語(yǔ)句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫(kù)表，并提供 HQL(Hive SQL)查詢功能。Hive本身不存儲(chǔ)和計(jì)算數(shù)據(jù)，它完全依賴于HDFS和MapReduce?？梢詫ive理解為一個(gè)客戶端工具，將SQL操作轉(zhuǎn)換為相應(yīng)的MapReduce jobs，然后在hadoop上面運(yùn)行。Hive支持標(biāo)準(zhǔn)的SQL語(yǔ)法，免去了用戶編寫MapReduce程序的過(guò)程，它的出現(xiàn)可以讓那些精通SQL技能、但是不熟悉MapReduce 、編程能力較弱與不擅長(zhǎng)Java語(yǔ)言的用戶能夠在HDFS大規(guī)模數(shù)據(jù)集上很方便地利用SQL 語(yǔ)言查詢、匯總、分析數(shù)據(jù)。
Hive是為大數(shù)據(jù)批量處理而生的，Hive的出現(xiàn)解決了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)(MySql、Oracle)在大數(shù)據(jù)處理上的瓶頸 。Hive 將執(zhí)行計(jì)劃分成map-shuffle-reduce-map-shuffle-reduce…的模型。如果一個(gè)Query會(huì)被編譯成多輪MapReduce，則會(huì)有更多的寫中間結(jié)果。由于MapReduce執(zhí)行框架本身的特點(diǎn)，過(guò)多的中間過(guò)程會(huì)增加整個(gè)Query的執(zhí)行時(shí)間。在Hive的運(yùn)行過(guò)程中，用戶只需要?jiǎng)?chuàng)建表，導(dǎo)入數(shù)據(jù)，編寫SQL分析語(yǔ)句即可。剩下的過(guò)程由Hive框架自動(dòng)的完成。
Impala
Impala是對(duì)Hive的一個(gè)補(bǔ)充，可以實(shí)現(xiàn)高效的SQL查詢。使用Impala來(lái)實(shí)現(xiàn)SQL on Hadoop，用來(lái)進(jìn)行大數(shù)據(jù)實(shí)時(shí)查詢分析。通過(guò)熟悉的傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的SQL風(fēng)格來(lái)操作大數(shù)據(jù)，同時(shí)數(shù)據(jù)也是可以存儲(chǔ)到HDFS和HBase中的。Impala沒(méi)有再使用緩慢的Hive+MapReduce批處理，而是通過(guò)使用與商用并行關(guān)系數(shù)據(jù)庫(kù)中類似的分布式查詢引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分組成)，可以直接從HDFS或HBase中用SELECT、JOIN和統(tǒng)計(jì)函數(shù)查詢數(shù)據(jù)，從而大大降低了延遲。Impala將整個(gè)查詢分成一執(zhí)行計(jì)劃樹(shù)，而不是一連串的MapReduce任務(wù)，相比Hive沒(méi)了MapReduce啟動(dòng)時(shí)間。
Hive 適合于長(zhǎng)時(shí)間的批處理查詢分析，而Impala適合于實(shí)時(shí)交互式SQL查詢，Impala給數(shù)據(jù)人員提供了快速實(shí)驗(yàn)，驗(yàn)證想法的大數(shù)據(jù)分析工具，可以先使用Hive進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，之后使用Impala在Hive處理好后的數(shù)據(jù)集上進(jìn)行快速的數(shù)據(jù)分析?？偟膩?lái)說(shuō)：Impala把執(zhí)行計(jì)劃表現(xiàn)為一棵完整的執(zhí)行計(jì)劃樹(shù)，可以更自然地分發(fā)執(zhí)行計(jì)劃到各個(gè)Impalad執(zhí)行查詢，而不用像Hive那樣把它組合成管道型的map-reduce模式，以此保證Impala有更好的并發(fā)性和避免不必要的中間sort與shuffle。但是Impala不支持UDF，能處理的問(wèn)題有一定的限制。
Spark
Spark擁有Hadoop MapReduce所具有的特點(diǎn)，它將Job中間輸出結(jié)果保存在內(nèi)存中，從而不需要讀取HDFS。Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。Spark 是在 Scala 語(yǔ)言中實(shí)現(xiàn)的，它將 Scala 用作其應(yīng)用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對(duì)象一樣輕松地操作分布式數(shù)據(jù)集。
Nutch
Nutch 是一個(gè)開(kāi)源Java 實(shí)現(xiàn)的搜索引擎。它提供了我們運(yùn)行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。
Solr
Solr用Java編寫、運(yùn)行在Servlet容器(如Apache Tomcat或Jetty)的一個(gè)獨(dú)立的企業(yè)級(jí)搜索應(yīng)用的全文搜索服務(wù)器。它對(duì)外提供類似于Web-service的API接口，用戶可以通過(guò)http請(qǐng)求，向搜索引擎服務(wù)器提交一定格式的XML文件，生成索引;也可以通過(guò)Http Get操作提出查找請(qǐng)求，并得到XML格式的返回結(jié)果。
Elasticsearch
Elasticsearch是一個(gè)開(kāi)源的全文搜索引擎，基于Lucene的搜索服務(wù)器，可以快速的儲(chǔ)存、搜索和分析海量的數(shù)據(jù)。設(shè)計(jì)用于云計(jì)算中，能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定，可靠，快速，安裝使用方便。
還涉及到一些機(jī)器學(xué)習(xí)語(yǔ)言，比如，Mahout主要目標(biāo)是創(chuàng)建一些可伸縮的機(jī)器學(xué)習(xí)算法，供開(kāi)發(fā)人員在Apache的許可下免費(fèi)使用;深度學(xué)習(xí)框架Caffe以及使用數(shù)據(jù)流圖進(jìn)行數(shù)值計(jì)算的開(kāi)源軟件庫(kù)TensorFlow等，常用的機(jī)器學(xué)習(xí)算法比如，貝葉斯、邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、協(xié)同過(guò)濾等。
數(shù)據(jù)可視化
對(duì)接一些BI平臺(tái)，將分析得到的數(shù)據(jù)進(jìn)行可視化，用于指導(dǎo)決策服務(wù)。主流的BI平臺(tái)比如，國(guó)外的敏捷BI Tableau、Qlikview、PowrerBI等，國(guó)內(nèi)的SmallBI和新興的網(wǎng)易有數(shù)等。
在上面的每一個(gè)階段，保障數(shù)據(jù)的安全是不可忽視的問(wèn)題。
基于網(wǎng)絡(luò)身份認(rèn)證的協(xié)議Kerberos，用來(lái)在非安全網(wǎng)絡(luò)中，對(duì)個(gè)人通信以安全的手段進(jìn)行身份認(rèn)證，它允許某實(shí)體在非安全網(wǎng)絡(luò)環(huán)境下通信，向另一個(gè)實(shí)體以一種安全的方式證明自己的身份。
控制權(quán)限的ranger是一個(gè)Hadoop集群權(quán)限框架，提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限，它提供一個(gè)集中的管理機(jī)制，管理基于yarn的Hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限?？梢詫?duì)Hadoop生態(tài)的組件如Hive，Hbase進(jìn)行細(xì)粒度的數(shù)據(jù)訪問(wèn)控制。通過(guò)操作Ranger控制臺(tái)，管理員可以輕松的通過(guò)配置策略來(lái)控制用戶訪問(wèn)HDFS文件夾、HDFS文件、數(shù)據(jù)庫(kù)、表、字段權(quán)限。這些策略可以為不同的用戶和組來(lái)設(shè)置，同時(shí)權(quán)限可與hadoop無(wú)縫對(duì)接。
簡(jiǎn)單說(shuō)有三大核心技術(shù)：拿數(shù)據(jù)，算數(shù)據(jù)，賣數(shù)據(jù)。
簡(jiǎn)單來(lái)說(shuō)，從大數(shù)據(jù)的生命周期來(lái)看，無(wú)外乎四個(gè)方面：大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析，共同組成了大數(shù)據(jù)生命周期里最核心的技術(shù)，下面分開(kāi)來(lái)說(shuō)：
一、大數(shù)據(jù)采集
大數(shù)據(jù)采集，即對(duì)各種來(lái)源的結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)，所進(jìn)行的采集。
數(shù)據(jù)庫(kù)采集：流行的有Sqoop和ETL，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和Oracle 也依然充當(dāng)著許多企業(yè)的數(shù)據(jù)存儲(chǔ)方式。當(dāng)然了，目前對(duì)于開(kāi)源的Kettle和Talend本身，也集成了大數(shù)據(jù)集成內(nèi)容，可實(shí)現(xiàn)hdfs，hbase和主流Nosq數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步和集成。
網(wǎng)絡(luò)數(shù)據(jù)采集：一種借助網(wǎng)絡(luò)爬蟲或網(wǎng)站公開(kāi)API，從網(wǎng)頁(yè)獲取非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，并將其統(tǒng)一結(jié)構(gòu)化為本地?cái)?shù)據(jù)的數(shù)據(jù)采集方式。
文件采集：包括實(shí)時(shí)文件采集和處理技術(shù)flume、基于ELK的日志采集和增量采集等等。
二、大數(shù)據(jù)預(yù)處理
大數(shù)據(jù)預(yù)處理，指的是在進(jìn)行數(shù)據(jù)分析之前，先對(duì)采集到的原始數(shù)據(jù)所進(jìn)行的諸如“清洗、填補(bǔ)、平滑、合并、規(guī)格化、一致性檢驗(yàn)”等一系列操作，旨在提高數(shù)據(jù)質(zhì)量，為后期分析工作奠定基礎(chǔ)。數(shù)據(jù)預(yù)處理主要包括四個(gè)部分：數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)規(guī)約。
數(shù)據(jù)清理：指利用ETL等清洗工具，對(duì)有遺漏數(shù)據(jù)(缺少感興趣的屬性)、噪音數(shù)據(jù)(數(shù)據(jù)中存在著錯(cuò)誤、或偏離期望值的數(shù)據(jù))、不一致數(shù)據(jù)進(jìn)行處理。
數(shù)據(jù)集成：是指將不同數(shù)據(jù)源中的數(shù)據(jù)，合并存放到統(tǒng)一數(shù)據(jù)庫(kù)的，存儲(chǔ)方法，著重解決三個(gè)問(wèn)題：模式匹配、數(shù)據(jù)冗余、數(shù)據(jù)值沖突檢測(cè)與處理。
數(shù)據(jù)轉(zhuǎn)換：是指對(duì)所抽取出來(lái)的數(shù)據(jù)中存在的不一致，進(jìn)行處理的過(guò)程。它同時(shí)包含了數(shù)據(jù)清洗的工作，即根據(jù)業(yè)務(wù)規(guī)則對(duì)異常數(shù)據(jù)進(jìn)行清洗，以保證后續(xù)分析結(jié)果準(zhǔn)確性。
數(shù)據(jù)規(guī)約：是指在最大限度保持?jǐn)?shù)據(jù)原貌的基礎(chǔ)上，最大限度精簡(jiǎn)數(shù)據(jù)量，以得到較小數(shù)據(jù)集的操作，包括：數(shù)據(jù)方聚集、維規(guī)約、數(shù)據(jù)壓縮、數(shù)值規(guī)約、概念分層等。
三、大數(shù)據(jù)存儲(chǔ)
大數(shù)據(jù)存儲(chǔ)，指用存儲(chǔ)器，以數(shù)據(jù)庫(kù)的形式，存儲(chǔ)采集到的數(shù)據(jù)的過(guò)程，包含三種典型路線：
1、基于MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群
采用Shared Nothing架構(gòu)，結(jié)合MPP架構(gòu)的高效分布式計(jì)算模式，通過(guò)列存儲(chǔ)、粗粒度索引等多項(xiàng)大數(shù)據(jù)處理技術(shù)，重點(diǎn)面向行業(yè)大數(shù)據(jù)所展開(kāi)的數(shù)據(jù)存儲(chǔ)方式。具有低成本、高性能、高擴(kuò)展性等特點(diǎn)，在企業(yè)分析類應(yīng)用領(lǐng)域有著廣泛的應(yīng)用。
較之傳統(tǒng)數(shù)據(jù)庫(kù)，其基于MPP產(chǎn)品的PB級(jí)數(shù)據(jù)分析能力，有著顯著的優(yōu)越性。自然，MPP數(shù)據(jù)庫(kù)，也成為了企業(yè)新一代數(shù)據(jù)倉(cāng)庫(kù)的最佳選擇。
2、基于Hadoop的技術(shù)擴(kuò)展和封裝
基于Hadoop的技術(shù)擴(kuò)展和封裝，是針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)難以處理的數(shù)據(jù)和場(chǎng)景（針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和計(jì)算等），利用Hadoop開(kāi)源優(yōu)勢(shì)及相關(guān)特性（善于處理非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)、復(fù)雜的ETL流程、復(fù)雜的數(shù)據(jù)挖掘和計(jì)算模型等），衍生出相關(guān)大數(shù)據(jù)技術(shù)的過(guò)程。
伴隨著技術(shù)進(jìn)步，其應(yīng)用場(chǎng)景也將逐步擴(kuò)大，目前最為典型的應(yīng)用場(chǎng)景：通過(guò)擴(kuò)展和封裝 Hadoop來(lái)實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)、分析的支撐，其中涉及了幾十種NoSQL技術(shù)。
3、大數(shù)據(jù)一體機(jī)
這是一種專為大數(shù)據(jù)的分析處理而設(shè)計(jì)的軟、硬件結(jié)合的產(chǎn)品。它由一組集成的服務(wù)器、存儲(chǔ)設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)，以及為數(shù)據(jù)查詢、處理、分析而預(yù)安裝和優(yōu)化的軟件組成，具有良好的穩(wěn)定性和縱向擴(kuò)展性。
四、大數(shù)據(jù)分析挖掘
從可視化分析、數(shù)據(jù)挖掘算法、預(yù)測(cè)性分析、語(yǔ)義引擎、數(shù)據(jù)質(zhì)量管理等方面，對(duì)雜亂無(wú)章的數(shù)據(jù)，進(jìn)行萃取、提煉和分析的過(guò)程。
1、可視化分析
可視化分析，指借助圖形化手段，清晰并有效傳達(dá)與溝通信息的分析手段。主要應(yīng)用于海量數(shù)據(jù)關(guān)聯(lián)分析，即借助可視化數(shù)據(jù)分析平臺(tái)，對(duì)分散異構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，并做出完整分析圖表的過(guò)程。
具有簡(jiǎn)單明了、清晰直觀、易于接受的特點(diǎn)。
2、數(shù)據(jù)挖掘算法
數(shù)據(jù)挖掘算法，即通過(guò)創(chuàng)建數(shù)據(jù)挖掘模型，而對(duì)數(shù)據(jù)進(jìn)行試探和計(jì)算的，數(shù)據(jù)分析手段。它是大數(shù)據(jù)分析的理論核心。
數(shù)據(jù)挖掘算法多種多樣，且不同算法因基于不同的數(shù)據(jù)類型和格式，會(huì)呈現(xiàn)出不同的數(shù)據(jù)特點(diǎn)。但一般來(lái)講，創(chuàng)建模型的過(guò)程卻是相似的，即首先分析用戶提供的數(shù)據(jù)，然后針對(duì)特定類型的模式和趨勢(shì)進(jìn)行查找，并用分析結(jié)果定義創(chuàng)建挖掘模型的最佳參數(shù)，并將這些參數(shù)應(yīng)用于整個(gè)數(shù)據(jù)集，以提取可行模式和詳細(xì)統(tǒng)計(jì)信息。
3、預(yù)測(cè)性分析
預(yù)測(cè)性分析，是大數(shù)據(jù)分析最重要的應(yīng)用領(lǐng)域之一，通過(guò)結(jié)合多種高級(jí)分析功能（特別統(tǒng)計(jì)分析、預(yù)測(cè)建模、數(shù)據(jù)挖掘、文本分析、實(shí)體分析、優(yōu)化、實(shí)時(shí)評(píng)分、機(jī)器學(xué)習(xí)等），達(dá)到預(yù)測(cè)不確定事件的目的。
幫助分用戶析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中的趨勢(shì)、模式和關(guān)系，并運(yùn)用這些指標(biāo)來(lái)預(yù)測(cè)將來(lái)事件，為采取措施提供依據(jù)。
4、語(yǔ)義引擎
語(yǔ)義引擎，指通過(guò)為已有數(shù)據(jù)添加語(yǔ)義的操作，提高用戶互聯(lián)網(wǎng)搜索體驗(yàn)。
5、數(shù)據(jù)質(zhì)量管理
指對(duì)數(shù)據(jù)全生命周期的每個(gè)階段（計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡等）中可能引發(fā)的各類數(shù)據(jù)質(zhì)量問(wèn)題，進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等操作，以提高數(shù)據(jù)質(zhì)量的一系列管理活動(dòng)。
以上是從大的方面來(lái)講，具體來(lái)說(shuō)大數(shù)據(jù)的框架技術(shù)有很多，這里列舉其中一些：
文件存儲(chǔ)：Hadoop HDFS、Tachyon、KFS
離線計(jì)算：Hadoop MapReduce、Spark
流式、實(shí)時(shí)計(jì)算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL數(shù)據(jù)庫(kù)：HBase、Redis、MongoDB
資源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系統(tǒng)：Kafka、StormMQ、ZeroMQ、RabbitMQ
查詢分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式協(xié)調(diào)服務(wù)：Zookeeper
集群管理與監(jiān)控：Ambari、Ganglia、Nagios、Cloudera Manager
數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)：Mahout、Spark MLLib
數(shù)據(jù)同步：Sqoop
任務(wù)調(diào)度：Oozie
······
想要學(xué)習(xí)更多關(guān)于大數(shù)據(jù)的知識(shí)可以加群和志同道合的人一起交流一下啊[ ]
1、大數(shù)據(jù)專業(yè)，一般是指大數(shù)據(jù)采集與管理專業(yè)；
2、課程設(shè)置
大數(shù)據(jù)專業(yè)將從大數(shù)據(jù)應(yīng)用的三個(gè)主要層面（即數(shù)據(jù)管理、系統(tǒng)開(kāi)發(fā)、海量數(shù)據(jù)分析與挖掘）系統(tǒng)地幫助企業(yè)掌握大數(shù)據(jù)應(yīng)用中的各種典型問(wèn)題的解決辦法，包括實(shí)現(xiàn)和分析協(xié)同過(guò)濾算法、運(yùn)行和學(xué)習(xí)分類算法、分布式Hadoop集群的搭建和基準(zhǔn)測(cè)試、分布式Hbase集群的搭建和基準(zhǔn)測(cè)試、實(shí)現(xiàn)一個(gè)基于、Mapreduce的并行算法、部署Hive并實(shí)現(xiàn)一個(gè)的數(shù)據(jù)操作等等，實(shí)際提升企業(yè)解決實(shí)際問(wèn)題的能力。
3、核心技術(shù)
（1）大數(shù)據(jù)與Hadoop生態(tài)系統(tǒng)。詳細(xì)介紹分析分布式文件系統(tǒng)HDFS、集群文件系統(tǒng)ClusterFS和NoSQL Database技術(shù)的原理與應(yīng)用；分布式計(jì)算框架Mapreduce、分布式數(shù)據(jù)庫(kù)HBase、分布式數(shù)據(jù)倉(cāng)庫(kù)Hive。
（2）關(guān)系型數(shù)據(jù)庫(kù)技術(shù)。詳細(xì)介紹關(guān)系型數(shù)據(jù)庫(kù)的原理，掌握典型企業(yè)級(jí)數(shù)據(jù)庫(kù)的構(gòu)建、管理、開(kāi)發(fā)及應(yīng)用。
（3）分布式數(shù)據(jù)處理。詳細(xì)介紹分析Map/Reduce計(jì)算模型和Hadoop Map/Reduce技術(shù)的原理與應(yīng)用。
（4）海量數(shù)據(jù)分析與數(shù)據(jù)挖掘。詳細(xì)介紹數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)挖掘算法–Minhash, Jaccard and Cosine similarity，TF-IDF數(shù)據(jù)挖掘算法–聚類算法；以及數(shù)據(jù)挖掘技術(shù)在行業(yè)中的具體應(yīng)用。
（5）物聯(lián)網(wǎng)與大數(shù)據(jù)。詳細(xì)介紹物聯(lián)網(wǎng)中的大數(shù)據(jù)應(yīng)用、遙感圖像的自動(dòng)解譯、時(shí)間序列數(shù)據(jù)的查詢、分析和挖掘。
（6）文件系統(tǒng)（HDFS）。詳細(xì)介紹HDFS部署，基于HDFS的高性能提供高吞吐量的數(shù)據(jù)訪問(wèn)。
（7）NoSQL。詳細(xì)介紹NoSQL非關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的原理、架構(gòu)及典型應(yīng)用。
4、行業(yè)現(xiàn)狀
今天，越來(lái)越多的行業(yè)對(duì)大數(shù)據(jù)應(yīng)用持樂(lè)觀的態(tài)度，大數(shù)據(jù)或者相關(guān)數(shù)據(jù)分析解決方案的使用在互聯(lián)網(wǎng)行業(yè)，比如百度、騰訊、淘寶、新浪等公司已經(jīng)成為標(biāo)準(zhǔn)。而像電信、金融、能源這些傳統(tǒng)行業(yè)，越來(lái)越多的用戶開(kāi)始嘗試或者考慮怎么樣使用大數(shù)據(jù)解決方案，來(lái)提升自己的業(yè)務(wù)水平。
在“大數(shù)據(jù)”背景之下，精通“大數(shù)據(jù)”的專業(yè)人才將成為企業(yè)最重要的業(yè)務(wù)角色，“大數(shù)據(jù)”從業(yè)人員薪酬持續(xù)增長(zhǎng)，人才缺口巨大。
對(duì)大數(shù)據(jù)分析有興趣的小伙伴們，不妨先從看看大數(shù)據(jù)分析書籍開(kāi)始入門！B站上有很多的大數(shù)據(jù)教學(xué)視頻，從基礎(chǔ)到高級(jí)的都有，還挺不錯(cuò)的，知識(shí)點(diǎn)講的很細(xì)致，還有完整版的學(xué)習(xí)路線圖。也可以自己去看看，下載學(xué)習(xí)試試。
大數(shù)據(jù)價(jià)值挖掘的三要素
如何充分利用大數(shù)據(jù)，挖掘大數(shù)據(jù)的商業(yè)價(jià)值，從而提升企業(yè)的競(jìng)爭(zhēng)力，已經(jīng)成為企業(yè)關(guān)注的一個(gè)焦點(diǎn)。
全面解決方案才能奏效
當(dāng)前，越來(lái)越多企業(yè)將大數(shù)據(jù)的分析結(jié)果作為其判斷未來(lái)發(fā)展的依據(jù)。同時(shí)，傳統(tǒng)的商業(yè)預(yù)測(cè)邏輯正日益被新的大數(shù)據(jù)預(yù)測(cè)所取代。但是，我們要謹(jǐn)慎管理大家對(duì)大數(shù)據(jù)的期望值，因?yàn)楹Ａ繑?shù)據(jù)只有在得到有效治理的前提下才能進(jìn)一步發(fā)展其業(yè)務(wù)價(jià)值。
最廣為人知的大數(shù)據(jù)定義是Gartner給出的大數(shù)據(jù)的3V特性：巨大的數(shù)據(jù)量（Volume）、數(shù)據(jù)的快速處理（Velocity）、多變的數(shù)據(jù)結(jié)構(gòu)和類型（Variety）。根據(jù)這一定義，大家首先想到的是IT系統(tǒng)中一直難以處理卻又不容忽視的非結(jié)構(gòu)化數(shù)據(jù)。也就是說(shuō)，大數(shù)據(jù)不僅要處理好交易型數(shù)據(jù)的分析，還把社交媒體、電子商務(wù)、決策支持等信息都融入進(jìn)來(lái)?，F(xiàn)在，分布式處理技術(shù)Hadoop和NoSQL已經(jīng)能對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)、處理、分析和挖掘，但未能為滿足客戶的大數(shù)據(jù)需求提供一個(gè)全面的解決方案。
事實(shí)上，普遍意義上的大數(shù)據(jù)范圍更加廣泛，任何涉及海量數(shù)據(jù)及多數(shù)據(jù)源的復(fù)雜計(jì)算，均屬大數(shù)據(jù)范疇，而不僅局限于非結(jié)構(gòu)化數(shù)據(jù)。因此，諸如電信運(yùn)營(yíng)商所擁有的巨量用戶的各類詳細(xì)數(shù)據(jù)、手機(jī)開(kāi)關(guān)機(jī)信息、手機(jī)在網(wǎng)注冊(cè)信息、手機(jī)通話計(jì)費(fèi)信息、手機(jī)上網(wǎng)詳細(xì)日志信息、用戶漫游信息、用戶訂閱服務(wù)信息和用戶基礎(chǔ)服務(wù)信息等，均可劃歸為大數(shù)據(jù)。
與幾年前興起的云計(jì)算相比，大數(shù)據(jù)實(shí)現(xiàn)其業(yè)務(wù)價(jià)值所要走的路或許更為長(zhǎng)遠(yuǎn)。但是企業(yè)用戶已經(jīng)迫不及待，越來(lái)越多企業(yè)高層傾向于將大數(shù)據(jù)分析結(jié)果作為其商業(yè)決策的重要依據(jù)。在這種背景下，我們必須找到一種全面的大數(shù)據(jù)解決方案，不僅要解決非結(jié)構(gòu)化數(shù)據(jù)的處理問(wèn)題，還要將功能擴(kuò)展到海量數(shù)據(jù)的存儲(chǔ)、大數(shù)據(jù)的分布式采集和交換、海量數(shù)據(jù)的實(shí)時(shí)快速訪問(wèn)、統(tǒng)計(jì)分析與挖掘和商務(wù)智能分析等。
典型的大數(shù)據(jù)解決方案應(yīng)該是具有多種能力的平臺(tái)化解決方案，這些能力包括結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、計(jì)算、分析和挖掘，多結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、加工和處理，以及大數(shù)據(jù)的商務(wù)智能分析。這種解決方案在技術(shù)應(yīng)具有以下四個(gè)特性：軟硬集成化的大數(shù)據(jù)處理、全結(jié)構(gòu)化數(shù)據(jù)處理的能力、大規(guī)模內(nèi)存計(jì)算的能力、超高網(wǎng)絡(luò)速度的訪問(wèn)。
軟硬件集成是必然選擇
我們認(rèn)為，大數(shù)據(jù)解決方案的關(guān)鍵在于如何處理好大規(guī)模數(shù)據(jù)計(jì)算。過(guò)去，傳統(tǒng)的前端數(shù)據(jù)庫(kù)服務(wù)器、后端大存儲(chǔ)的架構(gòu)難以有效存儲(chǔ)大規(guī)模數(shù)據(jù)并保持高性能數(shù)據(jù)處理。這時(shí)候，我們讓軟件和硬件更有效地集成起來(lái)進(jìn)行更緊密的協(xié)作。也就是說(shuō)，我們需要軟硬一體化的專門設(shè)備來(lái)應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)。
一直以來(lái)，甲骨文公司在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)領(lǐng)域占有絕對(duì)優(yōu)勢(shì)，但并未因此固步自封。面對(duì)大數(shù)據(jù)熱潮，甲骨文公司根據(jù)用戶的需求不斷推陳出新，將在數(shù)據(jù)領(lǐng)域的優(yōu)勢(shì)從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)擴(kuò)展到全面的大數(shù)據(jù)解決方案，成為業(yè)界首個(gè)通過(guò)全面的、軟硬件集成的產(chǎn)品來(lái)滿足企業(yè)關(guān)鍵大數(shù)據(jù)需求的公司。
甲骨文公司以軟硬件集成的方式提供大數(shù)據(jù)的捕獲、組織、分析和決策的所有能力，為企業(yè)提供完整的集成化大數(shù)據(jù)解決方案，其中的核心產(chǎn)品包括Oracle大數(shù)據(jù)機(jī)、Exalytics商務(wù)智能云服務(wù)器和OracleExadata數(shù)據(jù)庫(kù)云服務(wù)器。
Oracle大數(shù)據(jù)機(jī)用于多結(jié)構(gòu)化大數(shù)據(jù)處理，旨在簡(jiǎn)化大數(shù)據(jù)項(xiàng)目的實(shí)施與管理，其數(shù)據(jù)加工結(jié)果可以通過(guò)超高帶寬的InfiniBand網(wǎng)絡(luò)連接到OracleExadata數(shù)據(jù)庫(kù)云服務(wù)器中。OracleExadata可提供高效數(shù)據(jù)存儲(chǔ)和計(jì)算能力，配備超大容量的內(nèi)存和快速閃存，配合特有的軟硬件優(yōu)化技術(shù)，可對(duì)大數(shù)據(jù)進(jìn)行高效的加工、分析和挖掘。同時(shí)，甲骨文公司在OracleExadata以及數(shù)據(jù)庫(kù)軟件層面提供了非常高效和便捷的高級(jí)數(shù)據(jù)分析軟件，使數(shù)據(jù)能夠更快、更高效地得到分析、挖掘和處理。
通過(guò)Oracle大數(shù)據(jù)機(jī)快速獲得、組織大數(shù)據(jù)之后，企業(yè)還要根據(jù)對(duì)大數(shù)據(jù)全面、實(shí)時(shí)的分析結(jié)果做出科學(xué)的業(yè)務(wù)決策。OracleExalytics商務(wù)智能云服務(wù)器能以前所未有的速度運(yùn)行數(shù)據(jù)分析應(yīng)用，為客戶提供實(shí)時(shí)、快速的可視分析。同樣，它通過(guò)InfiniBand網(wǎng)絡(luò)連接到OracleExadata上進(jìn)行數(shù)據(jù)加載和讀取，讓大數(shù)據(jù)直接在內(nèi)存中快速計(jì)算，滿足大數(shù)據(jù)時(shí)代對(duì)數(shù)據(jù)分析展現(xiàn)的快速響應(yīng)需求。OracleExalytics實(shí)現(xiàn)了新型分析應(yīng)用，可用于異構(gòu)IT環(huán)境，能存取和分析來(lái)自任何Oracle或非Oracle的關(guān)系型數(shù)據(jù)、OLAP或非結(jié)構(gòu)化數(shù)據(jù)源的數(shù)據(jù)。
Oracle大數(shù)據(jù)機(jī)、OracleExalytics商務(wù)智能云服務(wù)器和OracleExadata數(shù)據(jù)庫(kù)云服務(wù)器一起，組成了甲骨文最廣泛、高度集成化系統(tǒng)產(chǎn)品組合，為企業(yè)提供了一個(gè)端到端的大數(shù)據(jù)解決方案，滿足企業(yè)對(duì)大數(shù)據(jù)治理的所有需求。
堅(jiān)持開(kāi)放的戰(zhàn)略
從當(dāng)前的情況來(lái)看，在大數(shù)據(jù)應(yīng)用領(lǐng)域，僅靠一家廠商的產(chǎn)品難以解決所有問(wèn)題。因此對(duì)于大數(shù)據(jù)解決方案供應(yīng)商來(lái)說(shuō)，采用開(kāi)放的策略是必然選擇。甲骨文公司堅(jiān)持全面、開(kāi)放、集成的產(chǎn)品策略。這一策略在大數(shù)據(jù)領(lǐng)域同樣適用。
這首先體現(xiàn)在大數(shù)據(jù)戰(zhàn)略在技術(shù)上支持Hadoop和開(kāi)源軟件。除了集成化產(chǎn)品，甲骨文公司還擁有一系列領(lǐng)先技術(shù)，以幫助用戶全面應(yīng)對(duì)大數(shù)據(jù)應(yīng)用的挑戰(zhàn)，其中包括OracleNoSQL數(shù)據(jù)庫(kù)，以及針對(duì)Hadoop架構(gòu)的系列產(chǎn)品。
OracleNoSQL數(shù)據(jù)庫(kù)專門為管理海量數(shù)據(jù)而設(shè)計(jì)，可以幫助企業(yè)存取非結(jié)構(gòu)化數(shù)據(jù)，并可橫向擴(kuò)展至數(shù)百個(gè)高可用性節(jié)點(diǎn)。同時(shí)，該產(chǎn)品能夠提供可預(yù)測(cè)的吞吐量和延遲時(shí)間，而且更加容易安裝、配置和管理，支持廣泛的工作負(fù)載。
而專門針對(duì)Hadoop架構(gòu)的產(chǎn)品，能夠幫助企業(yè)應(yīng)對(duì)在組織和提取大數(shù)據(jù)方面所面臨的挑戰(zhàn)，包括Oracle數(shù)據(jù)集成Hadoop應(yīng)用適配器、OracleHadoop裝載器以及OracleSQL Connector等。
此外，OracleR Enterprise實(shí)現(xiàn)了R開(kāi)源統(tǒng)計(jì)環(huán)境與Oracle數(shù)據(jù)庫(kù)11g的集成，為進(jìn)行更進(jìn)一步的數(shù)據(jù)分析提供了一個(gè)企業(yè)就緒的、深度集成的環(huán)境。
值得一提的是，除對(duì)產(chǎn)品和解決方案不斷投入，甲骨文公司還致力于和合作伙伴合作開(kāi)發(fā)大數(shù)據(jù)解決方案。目前，幾乎所有的甲骨文合作伙伴都在關(guān)注和測(cè)試大數(shù)據(jù)解決方案。甲骨文公司正積極尋找更多本地合作伙伴，為客戶提供更加定制化的產(chǎn)品和解決方案。
總而言之，大數(shù)據(jù)已經(jīng)和云計(jì)算、社交化、移動(dòng)化一起，成為現(xiàn)階段驅(qū)動(dòng)企業(yè)IT模式變革的重要因素。Oracle大數(shù)據(jù)解決方案可以橫跨IT架構(gòu)的所有層面，與其他產(chǎn)品進(jìn)行創(chuàng)新集成，并憑借卓越的可靠性、可擴(kuò)展性和可管理性，為企業(yè)的IT發(fā)展，甚至業(yè)務(wù)發(fā)展提供理想的IT基礎(chǔ)支持。
大數(shù)據(jù)技術(shù)的體系龐大且復(fù)雜，基礎(chǔ)的技術(shù)包含數(shù)據(jù)的采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等。
1、數(shù)據(jù)采集與預(yù)處理：FlumeNG實(shí)時(shí)日志收集系統(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；Zookeeper是一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，提供數(shù)據(jù)同步服務(wù)。
2、數(shù)據(jù)存儲(chǔ)：Hadoop作為一個(gè)開(kāi)源的框架，專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)，HDFS作為其核心的存儲(chǔ)引擎，已被廣泛用于數(shù)據(jù)存儲(chǔ)。HBase，是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，可以認(rèn)為是hdfs的封裝，本質(zhì)是數(shù)據(jù)存儲(chǔ)、NoSQL數(shù)據(jù)庫(kù)。
3、數(shù)據(jù)清洗：MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計(jì)算。
4、數(shù)據(jù)查詢分析：Hive的核心工作就是把SQL語(yǔ)句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫(kù)表，并提供HQL(HiveSQL)查詢功能。Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。
5、數(shù)據(jù)可視化：對(duì)接一些BI平臺(tái)，將分析得到的數(shù)據(jù)進(jìn)行可視化，用于指導(dǎo)決策服務(wù)。
隨著大數(shù)據(jù)分析市場(chǎng)迅速擴(kuò)展，哪些技術(shù)是最有需求和最有增長(zhǎng)潛力的呢？在Forrester Research的一份最新研究報(bào)告中，評(píng)估了22種技術(shù)在整個(gè)數(shù)據(jù)生命周期中的成熟度和軌跡。這些技術(shù)都對(duì)大數(shù)據(jù)的實(shí)時(shí)、預(yù)測(cè)和綜合洞察有著巨大的貢獻(xiàn)。
1. 預(yù)測(cè)分析技術(shù)
這也是大數(shù)據(jù)的主要功能之一。預(yù)測(cè)分析允許公司通過(guò)分析大數(shù)據(jù)源來(lái)發(fā)現(xiàn)、評(píng)估、優(yōu)化和部署預(yù)測(cè)模型，從而提高業(yè)務(wù)性能或降低風(fēng)險(xiǎn)。同時(shí)，大數(shù)據(jù)的預(yù)測(cè)分析也與我們的生活息息相關(guān)。淘寶會(huì)預(yù)測(cè)你每次購(gòu)物可能還想買什么，愛(ài)奇藝正在預(yù)測(cè)你可能想看什么，百合網(wǎng)和其他約會(huì)網(wǎng)站甚至試圖預(yù)測(cè)你會(huì)愛(ài)上誰(shuí)……
2. NoSQL數(shù)據(jù)庫(kù)
NoSQL，Not Only SQL，意思是“不僅僅是SQL”，泛指非關(guān)系型數(shù)據(jù)庫(kù)。NoSQL數(shù)據(jù)庫(kù)提供了比關(guān)系數(shù)據(jù)庫(kù)更靈活、可伸縮和更便宜的替代方案，打破了傳統(tǒng)數(shù)據(jù)庫(kù)市場(chǎng)一統(tǒng)江山的格局。并且，NoSQL數(shù)據(jù)庫(kù)能夠更好地處理大數(shù)據(jù)應(yīng)用的需求。常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知識(shí)發(fā)現(xiàn)
支持來(lái)自于多種數(shù)據(jù)源(如文件系統(tǒng)、數(shù)據(jù)庫(kù)、流、api和其他平臺(tái)和應(yīng)用程序)中的大型非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫(kù)中自助提取信息的工具和技術(shù)。如，數(shù)據(jù)挖掘技術(shù)和各種大數(shù)據(jù)平臺(tái)。
4. 大數(shù)據(jù)流計(jì)算引擎
能夠過(guò)濾、聚合、豐富和分析來(lái)自多個(gè)完全不同的活動(dòng)數(shù)據(jù)源的數(shù)據(jù)的高吞吐量的框架，可以采用任何數(shù)據(jù)格式。現(xiàn)今流行的流式計(jì)算引擎有Spark Streaming和Flink。
5. 內(nèi)存數(shù)據(jù)結(jié)構(gòu)
通過(guò)在分布式計(jì)算機(jī)系統(tǒng)中動(dòng)態(tài)隨機(jī)訪問(wèn)內(nèi)存(DRAM)、閃存或SSD上分布數(shù)據(jù)，提供低延遲的訪問(wèn)和處理大量數(shù)據(jù)。
6. 分布式文件存儲(chǔ)
為了保證文件的可靠性和存取性能，數(shù)據(jù)通常以副本的方式存儲(chǔ)在多個(gè)節(jié)點(diǎn)上的計(jì)算機(jī)網(wǎng)絡(luò)。常見(jiàn)的分布式文件系統(tǒng)有GFS、HDFS、Lustre 、Ceph等。
7. 數(shù)據(jù)虛擬化
數(shù)據(jù)虛擬化是一種數(shù)據(jù)管理方法，它允許應(yīng)用程序檢索和操作數(shù)據(jù)，而不需要關(guān)心有關(guān)數(shù)據(jù)的技術(shù)細(xì)節(jié)，比如數(shù)據(jù)在源文件中是何種格式，或者數(shù)據(jù)存儲(chǔ)的物理位置，并且可以提供單個(gè)客戶用戶視圖。
8. 數(shù)據(jù)集成
用于跨解決方案進(jìn)行數(shù)據(jù)編排的工具，如Amazon Elastic MapReduce (EMR)、Apache Hive、Apache Pig、Apache Spark、MapReduce、Couchbase、Hadoop和MongoDB等。
9. 數(shù)據(jù)準(zhǔn)備
減輕采購(gòu)、成形、清理和共享各種雜亂數(shù)據(jù)集的負(fù)擔(dān)的軟件，以加速數(shù)據(jù)對(duì)分析的有用性。
10. 數(shù)據(jù)質(zhì)量
使用分布式數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)庫(kù)上的并行操作，對(duì)大型高速數(shù)據(jù)集進(jìn)行數(shù)據(jù)清理和充實(shí)的產(chǎn)品。
重慶分公司
重慶分公司
