真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

企業(yè)級(jí)大數(shù)據(jù)技術(shù)體系是什么樣的

今天給大家介紹一下企業(yè)級(jí)大數(shù)據(jù)技術(shù)體系是什么樣的。文章的內(nèi)容小編覺得不錯(cuò),現(xiàn)在給大家分享一下,覺得有需要的朋友可以了解一下,希望對(duì)大家有所幫助,下面跟著小編的思路一起來(lái)閱讀吧。

主要從事網(wǎng)頁(yè)設(shè)計(jì)、PC網(wǎng)站建設(shè)(電腦版網(wǎng)站建設(shè))、wap網(wǎng)站建設(shè)(手機(jī)版網(wǎng)站建設(shè))、自適應(yīng)網(wǎng)站建設(shè)、程序開發(fā)、微網(wǎng)站、小程序設(shè)計(jì)等,憑借多年來(lái)在互聯(lián)網(wǎng)的打拼,我們?cè)诨ヂ?lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、網(wǎng)絡(luò)營(yíng)銷經(jīng)驗(yàn),集策劃、開發(fā)、設(shè)計(jì)、營(yíng)銷、管理等多方位專業(yè)化運(yùn)作于一體,具備承接不同規(guī)模與類型的建設(shè)項(xiàng)目的能力。

做你沒做過(guò)的事叫成長(zhǎng),做你不愿做的事叫改變,做你不敢做的事叫突破。

企業(yè)級(jí)大數(shù)據(jù)技術(shù)體系是什么樣的

企業(yè)級(jí)大數(shù)據(jù)技術(shù)框架(六層大數(shù)據(jù)技術(shù)體系)

1、數(shù)據(jù)收集層:分布式、異構(gòu)性、多樣化、流式產(chǎn)生

主要由關(guān)系型和非關(guān)系型數(shù)據(jù)收集組件,分布式消息隊(duì)列構(gòu)成。

Sqoop/Canal:關(guān)系型數(shù)據(jù)收集和導(dǎo)入工具,是連接關(guān)系型數(shù)據(jù)庫(kù)和Hadoop的橋梁,Sqoop可將關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)全量導(dǎo)入Hadoop,反之亦然。而Canal可用于實(shí)時(shí)數(shù)據(jù)的增量導(dǎo)入

Flume:非關(guān)系型數(shù)據(jù)收集工具,主要是流式日志數(shù)據(jù),可近實(shí)時(shí)收集,經(jīng)過(guò)濾,聚集后加載到HDFS等存儲(chǔ)系統(tǒng)

Kafka:分布式消息隊(duì)列,一般作為數(shù)據(jù)總線使用,它允許多個(gè)數(shù)據(jù)消費(fèi)者訂閱并獲取感興趣的數(shù)據(jù)。

2、數(shù)據(jù)存儲(chǔ)層

主要由分布式文件系統(tǒng)(面向文件存儲(chǔ))和分布式數(shù)據(jù)庫(kù)(面向行/列的存儲(chǔ))構(gòu)成。

HDFS:Hadoop分布式文件系統(tǒng),Google GFS的開源實(shí)現(xiàn),具有良好的擴(kuò)展性和容錯(cuò)性,目錄已支撐各種類型的數(shù)據(jù)存儲(chǔ)格式,包括SSTable,文本文件,二進(jìn)制key/value格式Sequence File,列式存儲(chǔ)格式Parquet,ORC和Carbondata等。

Hbase:構(gòu)建在HDFS之上的分布式數(shù)據(jù)庫(kù),需要用戶存儲(chǔ)結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù),支持行列無(wú)限擴(kuò)展及數(shù)據(jù)隨機(jī)查找與刪除。

Kudu:分布式列數(shù)據(jù)庫(kù),允許用戶存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù),支持行無(wú)限擴(kuò)展以及數(shù)據(jù)的隨機(jī)查找與更新。

3、資源管理與服務(wù)協(xié)調(diào)層:共享集群資源(優(yōu)點(diǎn):資源利用率高、運(yùn)維成本低、數(shù)據(jù)共享)

YARN:統(tǒng)一資源管理與調(diào)度系統(tǒng),它能夠管理集群中的各種資源(eg:CPU、內(nèi)存等),并按照一定的策略分配個(gè)上層各類應(yīng)用,YARN內(nèi)置了多種多租戶資源調(diào)度器,允許用戶按照隊(duì)列的方式組織和管理資源,且每個(gè)隊(duì)列的調(diào)度機(jī)制可獨(dú)立定制。

ZooKeeper:基于簡(jiǎn)化的Paxos協(xié)議實(shí)現(xiàn)的服務(wù)協(xié)調(diào)系統(tǒng),他提供了類似于文件系統(tǒng)的數(shù)據(jù)模型,允許用戶通過(guò)簡(jiǎn)單的API實(shí)現(xiàn)leader選舉、服務(wù)命名、分布式隊(duì)列與分布式鎖等復(fù)雜的分布式通用模塊。

4、計(jì)算引擎層

包括批處理(時(shí)間要求低,高吞吐)、交互式處理(時(shí)間要求比較高,sql查詢)、流式實(shí)時(shí)處理(時(shí)間要求非常高、廣告投放等)三種引擎。

MapReduce/Tez:MapReduce是一個(gè)經(jīng)典的批處理計(jì)算引擎,具體良好的擴(kuò)展性與容錯(cuò)性,允許用戶通過(guò)簡(jiǎn)單Api編寫分布式程序;Tez是基于MapReduce開發(fā)的通用DAG(有向無(wú)環(huán)圖)計(jì)算引擎,能夠更加高效地實(shí)現(xiàn)復(fù)雜的數(shù)據(jù)處理邏輯,目前被應(yīng)用在hive、pig等數(shù)據(jù)分析系統(tǒng)中。

Spark:通用的DAG計(jì)算引擎,它提供了基于RDD的數(shù)據(jù)抽象表示,允許用戶充分利用內(nèi)存進(jìn)行快速的數(shù)據(jù)挖掘和分析。

Impala/Presto:開源的MPP系統(tǒng),允許用戶使用標(biāo)準(zhǔn)的SQL處理存儲(chǔ)在Hadoop中的數(shù)據(jù)。它們采用了并行數(shù)據(jù)庫(kù)架構(gòu),內(nèi)置了查詢優(yōu)化器,查詢下推,代碼生成等優(yōu)化機(jī)制,使得大數(shù)據(jù)處理效率大大提高。

Storm/Spark Streaming:分布式流式實(shí)時(shí)計(jì)算引擎,具有良好的容錯(cuò)性與擴(kuò)展性,能夠高效的處理流式數(shù)據(jù),它允許用戶通過(guò)簡(jiǎn)單的API完成實(shí)時(shí)應(yīng)用程序開發(fā)。

5、數(shù)據(jù)分析層

為方便用戶解決大數(shù)據(jù)問題而提供的各種數(shù)據(jù)分析工具。

Hive/Pig/SparkSQL:在計(jì)算引擎只是構(gòu)建的支撐SQL或者腳本語(yǔ)言的分析系統(tǒng),大大降低了用戶進(jìn)行大數(shù)據(jù)分析的門檻。其中hive是基于MapReduce/Tez實(shí)現(xiàn)的sql引擎,pig是基于MapReduce/Tez實(shí)現(xiàn)的工作流引擎,SparkSQL是基于spark實(shí)現(xiàn)的sql引擎。

Mahout/MLib:在計(jì)算引擎上構(gòu)建的機(jī)器學(xué)習(xí)庫(kù),實(shí)現(xiàn)常用的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法Mahout最初是基于MapReduce實(shí)現(xiàn)的,目前正遷移到spark,mlib是基于spark實(shí)現(xiàn)的。

Apache Beam/Cascading:基于各類計(jì)算框架而封裝的高級(jí)API,方便構(gòu)建復(fù)雜的流水線。Apache Beam統(tǒng)一了批處理和流式處理兩類計(jì)算框架,提供了更高級(jí)的API方便用戶編寫與具體計(jì)算引擎無(wú)關(guān)的邏輯代碼;Cascading內(nèi)置了查詢計(jì)劃優(yōu)化器,能夠自動(dòng)優(yōu)化用戶實(shí)現(xiàn)的數(shù)據(jù)流。采用了面向tuple的數(shù)據(jù)模型,如果你的數(shù)據(jù)可表示成類似與數(shù)據(jù)庫(kù)行的格式,使用Cascading處理將變得很容易。

6、數(shù)據(jù)可視化層

應(yīng)用UI展示,比如:運(yùn)籌帷幄的Dashboard、火眼金睛的用戶分析平臺(tái)。

以上就是企業(yè)級(jí)大數(shù)據(jù)技術(shù)體系是什么樣的的全部?jī)?nèi)容了,更多與企業(yè)級(jí)大數(shù)據(jù)技術(shù)體系是什么樣的相關(guān)的內(nèi)容可以搜索創(chuàng)新互聯(lián)之前的文章或者瀏覽下面的文章進(jìn)行學(xué)習(xí)哈!相信小編會(huì)給大家增添更多知識(shí),希望大家能夠支持一下創(chuàng)新互聯(lián)!


網(wǎng)頁(yè)題目:企業(yè)級(jí)大數(shù)據(jù)技術(shù)體系是什么樣的
分享鏈接:http://weahome.cn/article/gcehss.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部