隨著大數(shù)據(jù)分析市場迅速擴展，哪些技術是最有需求和最有增長潛力的呢？在Forrester Research的一份最新研究報告中，評估了22種技術在整個數(shù)據(jù)生命周期中的成熟度和軌跡。這些技術都對大數(shù)據(jù)的實時、預測和綜合洞察有著巨大的貢獻。
創(chuàng)新互聯(lián)是一家專業(yè)提供景洪企業(yè)網(wǎng)站建設,專注與網(wǎng)站設計、網(wǎng)站制作、H5技術、小程序制作等業(yè)務。10年已為景洪眾多企業(yè)、政府機構等服務。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站建設公司優(yōu)惠進行中。
1. 預測分析技術
這也是大數(shù)據(jù)的主要功能之一。預測分析允許公司通過分析大數(shù)據(jù)源來發(fā)現(xiàn)、評估、優(yōu)化和部署預測模型，從而提高業(yè)務性能或降低風險。同時，大數(shù)據(jù)的預測分析也與我們的生活息息相關。淘寶會預測你每次購物可能還想買什么，愛奇藝正在預測你可能想看什么，百合網(wǎng)和其他約會網(wǎng)站甚至試圖預測你會愛上誰……
2. NoSQL數(shù)據(jù)庫
NoSQL，Not Only SQL，意思是“不僅僅是SQL”，泛指非關系型數(shù)據(jù)庫。NoSQL數(shù)據(jù)庫提供了比關系數(shù)據(jù)庫更靈活、可伸縮和更便宜的替代方案，打破了傳統(tǒng)數(shù)據(jù)庫市場一統(tǒng)江山的格局。并且，NoSQL數(shù)據(jù)庫能夠更好地處理大數(shù)據(jù)應用的需求。常見的NoSQL數(shù)據(jù)庫有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知識發(fā)現(xiàn)
支持來自于多種數(shù)據(jù)源(如文件系統(tǒng)、數(shù)據(jù)庫、流、api和其他平臺和應用程序)中的大型非結構化和結構化數(shù)據(jù)存儲庫中自助提取信息的工具和技術。如，數(shù)據(jù)挖掘技術和各種大數(shù)據(jù)平臺。
4. 大數(shù)據(jù)流計算引擎
能夠過濾、聚合、豐富和分析來自多個完全不同的活動數(shù)據(jù)源的數(shù)據(jù)的高吞吐量的框架，可以采用任何數(shù)據(jù)格式。現(xiàn)今流行的流式計算引擎有Spark Streaming和Flink。
5. 內存數(shù)據(jù)結構
通過在分布式計算機系統(tǒng)中動態(tài)隨機訪問內存(DRAM)、閃存或SSD上分布數(shù)據(jù)，提供低延遲的訪問和處理大量數(shù)據(jù)。
6. 分布式文件存儲
為了保證文件的可靠性和存取性能，數(shù)據(jù)通常以副本的方式存儲在多個節(jié)點上的計算機網(wǎng)絡。常見的分布式文件系統(tǒng)有GFS、HDFS、Lustre 、Ceph等。
7. 數(shù)據(jù)虛擬化
數(shù)據(jù)虛擬化是一種數(shù)據(jù)管理方法，它允許應用程序檢索和操作數(shù)據(jù)，而不需要關心有關數(shù)據(jù)的技術細節(jié)，比如數(shù)據(jù)在源文件中是何種格式，或者數(shù)據(jù)存儲的物理位置，并且可以提供單個客戶用戶視圖。
8. 數(shù)據(jù)集成
用于跨解決方案進行數(shù)據(jù)編排的工具，如Amazon Elastic MapReduce (EMR)、Apache Hive、Apache Pig、Apache Spark、MapReduce、Couchbase、Hadoop和MongoDB等。
9. 數(shù)據(jù)準備
減輕采購、成形、清理和共享各種雜亂數(shù)據(jù)集的負擔的軟件，以加速數(shù)據(jù)對分析的有用性。
10. 數(shù)據(jù)質量
使用分布式數(shù)據(jù)存儲和數(shù)據(jù)庫上的并行操作，對大型高速數(shù)據(jù)集進行數(shù)據(jù)清理和充實的產(chǎn)品。
大數(shù)據(jù)的由來
對于“大數(shù)據(jù)”（Big data）研究機構Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。
1
麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低四大特征。
大數(shù)據(jù)技術的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。
從技術上看，大數(shù)據(jù)與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘。但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術。
大數(shù)據(jù)需要特殊的技術，以有效地處理大量的容忍經(jīng)過時間內的數(shù)據(jù)。適用于大數(shù)據(jù)的技術，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。
最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
大數(shù)據(jù)的應用領域
大數(shù)據(jù)無處不在，大數(shù)據(jù)應用于各個行業(yè)，包括金融、 汽車 、餐飲、電信、能源、體能和 娛樂 等在內的 社會 各行各業(yè)都已經(jīng)融入了大數(shù)據(jù)的印跡。
制造業(yè)，利用工業(yè)大數(shù)據(jù)提升制造業(yè)水平，包括產(chǎn)品故障診斷與預測、分析工藝流程、改進生產(chǎn)工藝，優(yōu)化生產(chǎn)過程能耗、工業(yè)供應鏈分析與優(yōu)化、生產(chǎn)計劃與排程。
金融行業(yè)，大數(shù)據(jù)在高頻交易、社交情緒分析和信貸風險分析三大金融創(chuàng)新領域發(fā)揮重大作用。
汽車 行業(yè)，利用大數(shù)據(jù)和物聯(lián)網(wǎng)技術的無人駕駛 汽車 ，在不遠的未來將走入我們的日常生活。
互聯(lián)網(wǎng)行業(yè)，借助于大數(shù)據(jù)技術，可以分析客戶行為，進行商品推薦和針對性廣告投放。
電信行業(yè)，利用大數(shù)據(jù)技術實現(xiàn)客戶離網(wǎng)分析，及時掌握客戶離網(wǎng)傾向，出臺客戶挽留措施。
能源行業(yè)，隨著智能電網(wǎng)的發(fā)展，電力公司可以掌握海量的用戶用電信息，利用大數(shù)據(jù)技術分析用戶用電模式，可以改進電網(wǎng)運行，合理設計電力需求響應系統(tǒng)，確保電網(wǎng)運行安全。
物流行業(yè)，利用大數(shù)據(jù)優(yōu)化物流網(wǎng)絡，提高物流效率，降低物流成本。
城市管理，可以利用大數(shù)據(jù)實現(xiàn)智能交通、環(huán)保監(jiān)測、城市規(guī)劃和智能安防。
體育 娛樂 ，大數(shù)據(jù)可以幫助我們訓練球隊，決定投拍哪種 題財?shù)?影視作品，以及預測比賽結果。
安全領域，政府可以利用大數(shù)據(jù)技術構建起強大的國家安全保障體系，企業(yè)可以利用大數(shù)據(jù)抵御網(wǎng)絡攻擊，警察可以借助大數(shù)據(jù)來預防犯罪。
個人生活， 大數(shù)據(jù)還可以應用于個人生活，利用與每個人相關聯(lián)的“個人大數(shù)據(jù)”，分析個人生活行為習慣，為其提供更加周到的個性化服務。
大數(shù)據(jù)的價值，遠遠不止于此，大數(shù)據(jù)對各行各業(yè)的滲透，大大推動了 社會 生產(chǎn)和生活，未來必將產(chǎn)生重大而深遠的影響。
大數(shù)據(jù)方面核心技術有哪些？
大數(shù)據(jù)技術的體系龐大且復雜，基礎的技術包含數(shù)據(jù)的采集、數(shù)據(jù)預處理、分布式存儲、NoSQL數(shù)據(jù)庫、數(shù)據(jù)倉庫、機器學習、并行計算、可視化等各種技術范疇和不同的技術層面。首先給出一個通用化的大數(shù)據(jù)處理框架，主要分為下面幾個方面：數(shù)據(jù)采集與預處理、數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)查詢分析和數(shù)據(jù)可視化。
數(shù)據(jù)采集與預處理
對于各種來源的數(shù)據(jù)，包括移動互聯(lián)網(wǎng)數(shù)據(jù)、社交網(wǎng)絡的數(shù)據(jù)等，這些結構化和非結構化的海量數(shù)據(jù)是零散的，也就是所謂的數(shù)據(jù)孤島，此時的這些數(shù)據(jù)并沒有什么意義，數(shù)據(jù)采集就是將這些數(shù)據(jù)寫入數(shù)據(jù)倉庫中，把零散的數(shù)據(jù)整合在一起，對這些數(shù)據(jù)綜合起來進行分析。數(shù)據(jù)采集包括文件日志的采集、數(shù)據(jù)庫日志的采集、關系型數(shù)據(jù)庫的接入和應用程序的接入等。在數(shù)據(jù)量比較小的時候，可以寫個定時的腳本將日志寫入存儲系統(tǒng)，但隨著數(shù)據(jù)量的增長，這些方法無法提供數(shù)據(jù)安全保障，并且運維困難，需要更強壯的解決方案。
Flume NG
Flume NG作為實時日志收集系統(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)，同時，對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三層架構：Agent層，Collector層和Store層，每一層均可水平拓展。其中Agent包含Source，Channel和 Sink，source用來消費(收集)數(shù)據(jù)源到channel組件中，channel作為中間臨時存儲，保存所有source的組件信息，sink從channel中讀取數(shù)據(jù)，讀取成功之后會刪除channel中的信息。
NDC
Logstash
Logstash是開源的服務器端數(shù)據(jù)處理管道，能夠同時從多個來源采集數(shù)據(jù)、轉換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到您最喜歡的 “存儲庫” 中。一般常用的存儲庫是Elasticsearch。Logstash 支持各種輸入選擇，可以在同一時間從眾多常用的數(shù)據(jù)來源捕捉事件，能夠以連續(xù)的流式傳輸方式，輕松地從您的日志、指標、Web 應用、數(shù)據(jù)存儲以及各種 AWS 服務采集數(shù)據(jù)。
Sqoop
Sqoop，用來將關系型數(shù)據(jù)庫和Hadoop中的數(shù)據(jù)進行相互轉移的工具，可以將一個關系型數(shù)據(jù)庫(例如Mysql、Oracle)中的數(shù)據(jù)導入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數(shù)據(jù)導入到關系型數(shù)據(jù)庫(例如Mysql、Oracle)中。Sqoop 啟用了一個 MapReduce 作業(yè)(極其容錯的分布式并行計算)來執(zhí)行任務。Sqoop 的另一大優(yōu)勢是其傳輸大量結構化或半結構化數(shù)據(jù)的過程是完全自動化的。
流式計算
流式計算是行業(yè)研究的一個熱點，流式計算對多個高吞吐量的數(shù)據(jù)源進行實時的清洗、聚合和分析，可以對存在于社交網(wǎng)站、新聞等的數(shù)據(jù)信息流進行快速的處理并反饋，目前大數(shù)據(jù)流分析工具有很多，比如開源的strom，spark streaming等。
Strom集群結構是有一個主節(jié)點(nimbus)和多個工作節(jié)點(supervisor)組成的主從結構，主節(jié)點通過配置靜態(tài)指定或者在運行時動態(tài)選舉，nimbus與supervisor都是Storm提供的后臺守護進程，之間的通信是結合Zookeeper的狀態(tài)變更通知和監(jiān)控通知來處理。nimbus進程的主要職責是管理、協(xié)調和監(jiān)控集群上運行的topology(包括topology的發(fā)布、任務指派、事件處理時重新指派任務等)。supervisor進程等待nimbus分配任務后生成并監(jiān)控worker(jvm進程)執(zhí)行任務。supervisor與worker運行在不同的jvm上，如果由supervisor啟動的某個worker因為錯誤異常退出(或被kill掉)，supervisor會嘗試重新生成新的worker進程。
Zookeeper
Zookeeper是一個分布式的，開放源碼的分布式應用程序協(xié)調服務，提供數(shù)據(jù)同步服務。它的作用主要有配置管理、名字服務、分布式鎖和集群管理。配置管理指的是在一個地方修改了配置，那么對這個地方的配置感興趣的所有的都可以獲得變更，省去了手動拷貝配置的繁瑣，還很好的保證了數(shù)據(jù)的可靠和一致性，同時它可以通過名字來獲取資源或者服務的地址等信息，可以監(jiān)控集群中機器的變化，實現(xiàn)了類似于心跳機制的功能。
數(shù)據(jù)存儲
Hadoop作為一個開源的框架，專為離線和大規(guī)模數(shù)據(jù)分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用于數(shù)據(jù)存儲。
HBase
HBase，是一個分布式的、面向列的開源數(shù)據(jù)庫，可以認為是hdfs的封裝，本質是數(shù)據(jù)存儲、NoSQL數(shù)據(jù)庫。HBase是一種Key/Value系統(tǒng)，部署在hdfs上，克服了hdfs在隨機讀寫這個方面的缺點，與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用服務器，來增加計算和存儲能力。
Phoenix
Phoenix，相當于一個Java中間件，幫助開發(fā)工程師能夠像使用JDBC訪問關系型數(shù)據(jù)庫一樣訪問NoSQL數(shù)據(jù)庫HBase。
Yarn
Yarn是一種Hadoop資源管理器，可為上層應用提供統(tǒng)一的資源管理和調度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。Yarn由下面的幾大組件構成：一個全局的資源管理器ResourceManager、ResourceManager的每個節(jié)點代理NodeManager、表示每個應用的Application以及每一個ApplicationMaster擁有多個Container在NodeManager上運行。
Mesos
Mesos是一款開源的集群管理軟件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應用架構。
Redis
Redis是一種速度非?？斓姆顷P系數(shù)據(jù)庫，可以存儲鍵與5種不同類型的值之間的映射，可以將存儲在內存的鍵值對數(shù)據(jù)持久化到硬盤中，使用復制特性來擴展性能，還可以使用客戶端分片來擴展寫性能。
Atlas
Atlas是一個位于應用程序與MySQL之間的中間件。在后端DB看來，Atlas相當于連接它的客戶端，在前端應用看來，Atlas相當于一個DB。Atlas作為服務端與應用程序通訊，它實現(xiàn)了MySQL的客戶端和服務端協(xié)議，同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節(jié)，同時為了降低MySQL負擔，它還維護了連接池。Atlas啟動后會創(chuàng)建多個線程，其中一個為主線程，其余為工作線程。主線程負責監(jiān)聽所有的客戶端連接請求，工作線程只監(jiān)聽主線程的命令請求。
Kudu
Kudu是圍繞Hadoop生態(tài)圈建立的存儲引擎，Kudu擁有和Hadoop生態(tài)圈共同的設計理念，它運行在普通的服務器上、可分布式規(guī)模化部署、并且滿足工業(yè)界的高可用要求。其設計理念為fast analytics on fast data。作為一個開源的存儲引擎，可以同時提供低延遲的隨機讀寫和高效的數(shù)據(jù)分析能力。Kudu不但提供了行級的插入、更新、刪除API，同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲，既可以進行隨機讀寫，也可以滿足數(shù)據(jù)分析的要求。Kudu的應用場景很廣泛，比如可以進行實時的數(shù)據(jù)分析，用于數(shù)據(jù)可能會存在變化的時序數(shù)據(jù)應用等。
在數(shù)據(jù)存儲過程中，涉及到的數(shù)據(jù)表都是成千上百列，包含各種復雜的Query，推薦使用列式存儲方法，比如parquent,ORC等對數(shù)據(jù)進行壓縮。Parquet 可以支持靈活的壓縮選項，顯著減少磁盤上的存儲。
數(shù)據(jù)清洗
MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計算，”Map(映射)”和”Reduce(歸約)”，是它的主要思想。它極大的方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)中。
隨著業(yè)務數(shù)據(jù)量的增多，需要進行訓練和清洗的數(shù)據(jù)會變得越來越復雜，這個時候就需要任務調度系統(tǒng)，比如oozie或者azkaban，對關鍵任務進行調度和監(jiān)控。
Oozie
Oozie是用于Hadoop平臺的一種工作流調度引擎，提供了RESTful API接口來接受用戶的提交請求(提交工作流作業(yè))，當提交了workflow后，由工作流引擎負責workflow的執(zhí)行以及狀態(tài)的轉換。用戶在HDFS上部署好作業(yè)(MR作業(yè))，然后向Oozie提交Workflow，Oozie以異步方式將作業(yè)(MR作業(yè))提交給Hadoop。這也是為什么當調用Oozie 的RESTful接口提交作業(yè)之后能立即返回一個JobId的原因，用戶程序不必等待作業(yè)執(zhí)行完成(因為有些大作業(yè)可能會執(zhí)行很久(幾個小時甚至幾天))。Oozie在后臺以異步方式，再將workflow對應的Action提交給hadoop執(zhí)行。
Azkaban
Azkaban也是一種工作流的控制引擎，可以用來解決有多個hadoop或者spark等離線計算任務之間的依賴關系問題。azkaban主要是由三部分構成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban將大多數(shù)的狀態(tài)信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、認證、調度以及對工作流執(zhí)行過程中的監(jiān)控等;Azkaban Executor Server用來調度工作流和任務，記錄工作流或者任務的日志。
流計算任務的處理平臺Sloth，是網(wǎng)易首個自研流計算平臺，旨在解決公司內各產(chǎn)品日益增長的流計算需求。作為一個計算服務平臺，其特點是易用、實時、可靠，為用戶節(jié)省技術方面(開發(fā)、運維)的投入，幫助用戶專注于解決產(chǎn)品本身的流計算需求
數(shù)據(jù)查詢分析
Hive
Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數(shù)據(jù)映射為一張數(shù)據(jù)庫表，并提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數(shù)據(jù)，它完全依賴于HDFS和MapReduce?？梢詫ive理解為一個客戶端工具，將SQL操作轉換為相應的MapReduce jobs，然后在hadoop上面運行。Hive支持標準的SQL語法，免去了用戶編寫MapReduce程序的過程，它的出現(xiàn)可以讓那些精通SQL技能、但是不熟悉MapReduce 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規(guī)模數(shù)據(jù)集上很方便地利用SQL 語言查詢、匯總、分析數(shù)據(jù)。
Hive是為大數(shù)據(jù)批量處理而生的，Hive的出現(xiàn)解決了傳統(tǒng)的關系型數(shù)據(jù)庫(MySql、Oracle)在大數(shù)據(jù)處理上的瓶頸 。Hive 將執(zhí)行計劃分成map-shuffle-reduce-map-shuffle-reduce…的模型。如果一個Query會被編譯成多輪MapReduce，則會有更多的寫中間結果。由于MapReduce執(zhí)行框架本身的特點，過多的中間過程會增加整個Query的執(zhí)行時間。在Hive的運行過程中，用戶只需要創(chuàng)建表，導入數(shù)據(jù)，編寫SQL分析語句即可。剩下的過程由Hive框架自動的完成。
Impala
Impala是對Hive的一個補充，可以實現(xiàn)高效的SQL查詢。使用Impala來實現(xiàn)SQL on Hadoop，用來進行大數(shù)據(jù)實時查詢分析。通過熟悉的傳統(tǒng)關系型數(shù)據(jù)庫的SQL風格來操作大數(shù)據(jù)，同時數(shù)據(jù)也是可以存儲到HDFS和HBase中的。Impala沒有再使用緩慢的Hive+MapReduce批處理，而是通過使用與商用并行關系數(shù)據(jù)庫中類似的分布式查詢引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分組成)，可以直接從HDFS或HBase中用SELECT、JOIN和統(tǒng)計函數(shù)查詢數(shù)據(jù)，從而大大降低了延遲。Impala將整個查詢分成一執(zhí)行計劃樹，而不是一連串的MapReduce任務，相比Hive沒了MapReduce啟動時間。
Hive 適合于長時間的批處理查詢分析，而Impala適合于實時交互式SQL查詢，Impala給數(shù)據(jù)人員提供了快速實驗，驗證想法的大數(shù)據(jù)分析工具，可以先使用Hive進行數(shù)據(jù)轉換處理，之后使用Impala在Hive處理好后的數(shù)據(jù)集上進行快速的數(shù)據(jù)分析?？偟膩碚f：Impala把執(zhí)行計劃表現(xiàn)為一棵完整的執(zhí)行計劃樹，可以更自然地分發(fā)執(zhí)行計劃到各個Impalad執(zhí)行查詢，而不用像Hive那樣把它組合成管道型的map-reduce模式，以此保證Impala有更好的并發(fā)性和避免不必要的中間sort與shuffle。但是Impala不支持UDF，能處理的問題有一定的限制。
Spark
Spark擁有Hadoop MapReduce所具有的特點，它將Job中間輸出結果保存在內存中，從而不需要讀取HDFS。Spark 啟用了內存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。Spark 是在 Scala 語言中實現(xiàn)的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集。
Nutch
Nutch 是一個開源Java 實現(xiàn)的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。
Solr
Solr用Java編寫、運行在Servlet容器(如Apache Tomcat或Jetty)的一個獨立的企業(yè)級搜索應用的全文搜索服務器。它對外提供類似于Web-service的API接口，用戶可以通過http請求，向搜索引擎服務器提交一定格式的XML文件，生成索引;也可以通過Http Get操作提出查找請求，并得到XML格式的返回結果。
Elasticsearch
Elasticsearch是一個開源的全文搜索引擎，基于Lucene的搜索服務器，可以快速的儲存、搜索和分析海量的數(shù)據(jù)。設計用于云計算中，能夠達到實時搜索，穩(wěn)定，可靠，快速，安裝使用方便。
還涉及到一些機器學習語言，比如，Mahout主要目標是創(chuàng)建一些可伸縮的機器學習算法，供開發(fā)人員在Apache的許可下免費使用;深度學習框架Caffe以及使用數(shù)據(jù)流圖進行數(shù)值計算的開源軟件庫TensorFlow等，常用的機器學習算法比如，貝葉斯、邏輯回歸、決策樹、神經(jīng)網(wǎng)絡、協(xié)同過濾等。
數(shù)據(jù)可視化
對接一些BI平臺，將分析得到的數(shù)據(jù)進行可視化，用于指導決策服務。主流的BI平臺比如，國外的敏捷BI Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網(wǎng)易有數(shù)等。
在上面的每一個階段，保障數(shù)據(jù)的安全是不可忽視的問題。
基于網(wǎng)絡身份認證的協(xié)議Kerberos，用來在非安全網(wǎng)絡中，對個人通信以安全的手段進行身份認證，它允許某實體在非安全網(wǎng)絡環(huán)境下通信，向另一個實體以一種安全的方式證明自己的身份。
控制權限的ranger是一個Hadoop集群權限框架，提供操作、監(jiān)控、管理復雜的數(shù)據(jù)權限，它提供一個集中的管理機制，管理基于yarn的Hadoop生態(tài)圈的所有數(shù)據(jù)權限?？梢詫adoop生態(tài)的組件如Hive，Hbase進行細粒度的數(shù)據(jù)訪問控制。通過操作Ranger控制臺，管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、數(shù)據(jù)庫、表、字段權限。這些策略可以為不同的用戶和組來設置，同時權限可與hadoop無縫對接。
簡單說有三大核心技術：拿數(shù)據(jù)，算數(shù)據(jù)，賣數(shù)據(jù)。
MPP是一種進行系統(tǒng)擴展的方式，它由多個SMP服務器通過一定的節(jié)點互聯(lián)網(wǎng)絡進行連接，協(xié)同工作，完成相同的任務，從用戶的角度來看是一個服務器系統(tǒng)。每一個節(jié)點只能訪問自己本地資源（內存，存儲等），是一種完全無共享結構（Share Nothing）結構。
而NoSql=Not Only Sql。泛指的是非關系型數(shù)據(jù)庫。大概分為四類。Key-Value存儲的數(shù)據(jù)庫，列式存儲數(shù)據(jù)庫（Hbase），文檔型數(shù)據(jù)庫和圖形數(shù)據(jù)庫。
本期目錄
DB-Engines數(shù)據(jù)庫排行榜
新聞快訊
一、RDBMS家族
二、NoSQL家族
三、NewSQL家族
四、時間序列
五、大數(shù)據(jù)生態(tài)圈
六、國產(chǎn)數(shù)據(jù)庫概覽
七、云數(shù)據(jù)庫
八、推出dbaplus Newsletter的想法
九、感謝名單
為方便閱讀、重點呈現(xiàn)，本期Newsletter（2019年1月）將對各個板塊的內容進行精簡。需要閱讀全文的同學可點擊文末 【閱讀原文】 或登錄
進行下載。
DB-Engines數(shù)據(jù)庫排行榜
以下取自2019年1月的數(shù)據(jù)，具體信息可以參考，數(shù)據(jù)僅供參考。
DB-Engines排名的數(shù)據(jù)依據(jù)5個不同的因素：
新聞快訊
1、2018年9月24日，微軟公布了SQL Server2019預覽版，SQL Server 2019將結合Spark創(chuàng)建統(tǒng)一數(shù)據(jù)平臺。
2、2018年10月5日，ElasticSearch在美國紐約證券交易所上市。
3、亞馬遜放棄甲骨文數(shù)據(jù)庫軟件，導致最大倉庫之一在黃金時段宕機。受此消息影響，亞馬遜盤前股價小幅跳水，跌超2%。
4、2018年10月31日，Percona發(fā)布了Percona Server 8.0 RC版本，發(fā)布對MongoDB 4.0的支持，發(fā)布對XtraBackup測試第二個版本。
5、2018年10月31日，Gartner陸續(xù)發(fā)布了2018年的數(shù)據(jù)庫系列報告，包括《數(shù)據(jù)庫魔力象限》、《數(shù)據(jù)庫核心能力》以及《數(shù)據(jù)庫推薦報告》。
今年的總上榜數(shù)據(jù)庫產(chǎn)品達到了5家，分別來自：阿里云，華為，巨杉數(shù)據(jù)庫，騰訊云，星環(huán) 科技 。其中阿里云和巨杉數(shù)據(jù)庫已經(jīng)連續(xù)兩年入選。
6、2018年11月初，Neo4j宣布完成E輪8000萬美元融資。11月15日，Neo4j宣布企業(yè)版徹底閉源：
7、2019年1月8日，阿里巴巴以1.033億美元（9000萬歐元）的價格收購了Apache Flink商業(yè)公司DataArtisans。
8、2019年1月11日早間消息，亞馬遜宣布推出云數(shù)據(jù)庫軟件，亞馬遜和MongoDB將會直接競爭。
RDBMS家族
Oracle 發(fā)布18.3版本
2018年7月，Oracle Database 18.3通用版開始提供下載。我們可以將Oracle Database 18c視為采用之前發(fā)布模式的Oracle Database 12c第2版的第一個補丁集。未來，客戶將不再需要等待多年才能用上最新版Oracle數(shù)據(jù)庫，而是每年都可以期待新數(shù)據(jù)庫特性和增強。Database 19c將于2019年Q1率先在Oracle cloud上發(fā)布云版本。
Oracle Database 18c及19c部分關鍵功能：
1、性能
2、多租戶，大量功能增強及改進，大幅節(jié)省成本和提高敏捷性
3、高可用
4、數(shù)據(jù)倉庫和大數(shù)據(jù)
MySQL發(fā)布8.0.13版本
1、賬戶管理
經(jīng)過配置，修改密碼時，必須帶上原密碼。在之前的版本，用戶登錄之后，就可以修改自己的密碼。這種方式存在一定安全風險。比如用戶登錄上數(shù)據(jù)庫后，中途離開一段時間，那么非法用戶可能會修改密碼。由參數(shù)password_require_current控制。
2、配置
Innodb表必須有主鍵。在用戶沒有指定主鍵時，系統(tǒng)會生成一個默認的主鍵。但是在主從復制的場景下，默認的主鍵，會對叢庫應用速度帶來致命的影響。如果設置sql_require_primary_key，那么數(shù)據(jù)庫會強制用戶在創(chuàng)建表、修改表時，加上主鍵。
3、字段默認值
BLOB、TEXT、GEOMETRY和JSON字段可以指定默認值了。
4、優(yōu)化器
1）Skip Scan
非前綴索引也可以用了。
之前的版本，任何沒有帶上f1字段的查詢，都沒法使用索引。在新的版本中，它可以忽略前面的字段，讓這個查詢使用到索引。其實現(xiàn)原理就是把(f1 = 1 AND f2 40) 和(f1 = 2 AND f2 40)的查詢結果合并。
2）函數(shù)索引
之前版本只能基于某個列或者多個列加索引，但是不允許在上面做計算，如今這個限制消除了。
5、SQL語法
GROUP BY ASC和GROUP BY DESC語法已經(jīng)被廢棄，要想達到類似的效果，請使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。
6、功能變化
1）設置用戶變量，請使用SET語句
如下類型語句將要被廢棄SELECT @var, @var:=@var+1。
2）新增innodb_fsync_threshold
該變量是控制文件刷新到磁盤的速率，防止磁盤在短時間內飽和。
3）新增會話級臨時表空間
在以往的版本中，當執(zhí)行SQL時，產(chǎn)生的臨時表都在全局表空間ibtmp1中，及時執(zhí)行結束，臨時表被釋放，空間不會被回收。新版本中，會為session從臨時表空間池中分配一個臨時表空間，當連接斷開時，臨時表空間的磁盤空間被回收。
4）在線切換Group Replication的狀態(tài)
5）新增了group_replication_member_expel_timeout
之前，如果某個節(jié)點被懷疑有問題，在5秒檢測期結束之后，那么就直接被驅逐出這個集群。即使該節(jié)點恢復正常時，也不會再被加入集群。那么，瞬時的故障，會把某些節(jié)點驅逐出集群。
group_replication_member_expel_timeout讓管理員能更好的依據(jù)自身的場景，做出最合適的配置（建議配置時間小于一個小時）。
MariaDB 10.3版本功能展示
1、MariaDB 10.3支持update多表ORDER BY and LIMIT
1）update連表更新，limit語句
update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;
MySQL 8.0直接報錯
MariaDB 10.3更新成功
2）update連表更新，ORDER BY and LIMIT語句
update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;
MySQL 8.0直接報錯
MariaDB 10.3更新成功
參考：
2、MariaDB10.3增補AliSQL補丁——安全執(zhí)行Online DDL
Online DDL從名字上看很容易誤導新手，以為不論什么情況，修改表結構都不會鎖表，理想很豐滿，現(xiàn)實很骨感，注意這個坑！
有以下兩種情況執(zhí)行DDL操作會鎖表的，Waiting for table metadata lock（元數(shù)據(jù)表鎖）：
針對第二種情況，MariaDB10.3增補AliSQL補丁-DDL FAST FAIL，讓其DDL操作快速失敗。
例：
如果線上有某個慢SQL對該表進行操作，可以使用WAIT n（以秒為單位設置等待）或NOWAIT在語句中顯式設置鎖等待超時，在這種情況下，如果無法獲取鎖，語句將立即失敗。 WAIT 0相當于NOWAIT。
參考：
3、MariaDB Window Functions窗口函數(shù)分組取TOP N記錄
窗口函數(shù)在MariaDB10.2版本里實現(xiàn)，其簡化了復雜SQL的撰寫，提高了可讀性。
參考：
Percona Server發(fā)布8.0 GA版本
2018年12月21日，Percona發(fā)布了Percona Server 8.0 GA版本。
在支持MySQL8.0社區(qū)的基礎版上，Percona Server for MySQL 8.0版本中帶來了許多新功能：
1、安全性和合規(guī)性
2、性能和可擴展性
3、可觀察性和可用性
Percona Server for MySQL 8.0中將要被廢用功能：
Percona Server for MySQL 8.0中刪除的功能：
RocksDB發(fā)布V5.17.2版本
2018年10月24日，RocksDB發(fā)布V5.17.2版本。
RocksDB是Facebook在LevelDB基礎上用C++寫的高效內嵌式K/V存儲引擎。相比LevelDB，RocksDB提供了Column-Family，TTL，Transaction，Merge等方面的支持。目前MyRocks，TiKV等底層的存儲都是基于RocksDB來構建。
PostgreSQL發(fā)布11版本
2018年10月18日，PostgreSQL 11發(fā)布。
1、PostgreSQL 11的重大增強
2、PostgreSQL 插件動態(tài)
1）分布式插件citus發(fā)布 8.1
citus是PostgreSQL的一款sharding插件，目前國內蘇寧、鐵總、探探有較大量使用案例。
2）地理信息插件postgis發(fā)布2.5.1
PostGIS是專業(yè)的時空數(shù)據(jù)庫插件，在測繪、航天、氣象、地震、國土資源、地圖等時空專業(yè)領域應用廣泛。同時在互聯(lián)網(wǎng)行業(yè)也得到了對GIS有性能、功能深度要求的客戶青睞，比如共享出行、外賣等客戶。
3）時序插件timescale發(fā)布1.1.1
timescale是PostgreSQL的一款時序數(shù)據(jù)庫插件，在IoT行業(yè)中有非常好的應用。github star數(shù)目前有5000多，是一個非?；鸨牟寮?/p>
4）流計算插件 pipelinedb 正式插件化
Pipelinedb是PostgreSQL的一款流計算插件，使用這個創(chuàng)建可以對高速寫入的數(shù)據(jù)進行實時根據(jù)定義的聚合規(guī)則進行聚合（支持概率計算），實時根據(jù)定義的規(guī)則觸發(fā)事件（支持事件處理函數(shù)的自定義）?？捎糜贗oT，監(jiān)控，F(xiàn)EED實時計算等場景。
3、PostgreSQL衍生開源產(chǎn)品動態(tài)
1）agensgraph發(fā)布 2.0.0版本
agensgraph是兼容PostgreSQL、opencypher的專業(yè)圖數(shù)據(jù)庫，適合圖式關系的管理。
2）gpdb發(fā)布5.15
gpdb是兼容PostgreSQL的mpp數(shù)據(jù)庫，適合OLAP場景。近兩年，gpdb一直在追趕PostgreSQL的社區(qū)版本，預計很快會追上10的PostgreSQL，在TP方面的性能也會得到顯著提升。
3）antdb發(fā)布3.2
antdb是以Postgres-XC為基礎開發(fā)的一款PostgreSQL sharding數(shù)據(jù)庫，亞信主導開發(fā)，開源，目前主要服務于亞信自有客戶。
4）遷移工具MTK發(fā)布52版本
MTK是EDB提供的可以將Oracle、PostgreSQL、MySQL、MSSQL、Sybase數(shù)據(jù)庫遷移到PostgreSQL, PPAS的產(chǎn)品，遷移速度可以達到100萬行/s以上。
DB2發(fā)布 11.1.4.4版本
DB2最新發(fā)布Mod Pack 4 and Fix Pack 4，包含以下幾方面的改動及增強：
1、性能
2、高可用
3、管理視圖
4、應用開發(fā)方面
5、聯(lián)邦功能
6、pureScale
NoSQL家族
Redis發(fā)布5.0.3版本
MongoDB升級更新MongoDB Mobile和MongoDB Stitch
2018年11月21日，MongoDB升級更新MongoDB Mobile和MongoDB Stitch，助力開發(fā)人員提升工作效率。
MongoDB 公司日前發(fā)布了多項新產(chǎn)品功能，旨在更好地幫助開發(fā)人員在世界各地管理數(shù)據(jù)。通過利用存儲在移動設備和后臺數(shù)據(jù)庫的數(shù)據(jù)之間的實時、自動的同步特性，MongoDB Mobile通用版本助力開發(fā)人員構建更快捷、反應更迅速的應用程序。此前，這只能通過在移動應用內部安裝一個可供選擇或限定功能的數(shù)據(jù)庫來實現(xiàn)。
MongoDB Mobile在為客戶提供隨處運行的自由度方面更進了一步。用戶在iOS和安卓終端設備上可擁有MongoDB所有功能，將網(wǎng)絡邊界擴展到其物聯(lián)網(wǎng)資產(chǎn)范疇。應用系統(tǒng)還可以使用MongoDB Stitch的軟件開發(fā)包訪問移動客戶端或后臺數(shù)據(jù)，幫助開發(fā)人員通過他們希望的任意方式查詢移動終端數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù)，包括本地讀寫、本地JSON存儲、索引和聚合。通過Stitch移動同步功能(現(xiàn)可提供beta版)，用戶可以自動對保存在本地的數(shù)據(jù)以及后臺數(shù)據(jù)庫的數(shù)據(jù)進行同步。
本期新秀：Cassandra發(fā)布3.11.3版本
2018年8月11日，Cassandra發(fā)布正式版3.11.3。
Apache Cassandra是一款開源分布式NoSQL數(shù)據(jù)庫系統(tǒng)，使用了基于Google BigTable的數(shù)據(jù)模型，與面向行(row)的傳統(tǒng)關系型數(shù)據(jù)庫或鍵值存儲key-value數(shù)據(jù)庫不同，Cassandra使用的是寬列存儲模型(Wide Column Stores)。與BigTable和其模仿者HBase不同，數(shù)據(jù)并不存儲在分布式文件系統(tǒng)如GFS或HDFS中，而是直接存于本地。
Cassandra的系統(tǒng)架構與Amazon DynamoDB類似，是基于一致性哈希的完全P2P架構，每行數(shù)據(jù)通過哈希來決定應該存在哪個或哪些節(jié)點中。集群沒有master的概念，所有節(jié)點都是同樣的角色，徹底避免了整個系統(tǒng)的單點問題導致的不穩(wěn)定性，集群間的狀態(tài)同步通過Gossip協(xié)議來進行P2P的通信。
3.11.3版本的一些bug fix和改進：
NewSQL家族
TiDB 發(fā)布2.1.2版本
2018 年 12 月 22 日，TiDB 發(fā)布 2.1.2 版，TiDB-Ansible 相應發(fā)布 2.1.2 版本。該版本在 2.1.1 版的基礎上，對系統(tǒng)兼容性、穩(wěn)定性做出了改進。
TiDB 是一款定位于在線事務處理/在線分析處理（ HTAP: Hybrid Transactional/Analytical Processing）的融合型數(shù)據(jù)庫產(chǎn)品。除了底層的 RocksDB 存儲引擎之外，分布式SQL層、分布式KV存儲引擎（TiKV）完全自主設計和研發(fā)。
TiDB 完全開源，兼容MySQL協(xié)議和語法，可以簡單理解為一個可以無限水平擴展的MySQL，并且提供分布式事務、跨節(jié)點 JOIN、吞吐和存儲容量水平擴展、故障自恢復、高可用等優(yōu)異的特性；對業(yè)務沒有任何侵入性，簡化開發(fā)，利于維護和平滑遷移。
TiDB：
PD：
TiKV：
Tools：
1）TiDB-Lightning
2）TiDB-Binlog
EsgynDB發(fā)布R2.5版本
2018年12月22日，EsgynDB R2.5版本正式發(fā)布。
作為企業(yè)級產(chǎn)品，EsgynDB 2.5向前邁進了一大步，它擁有以下功能和改進：
CockroachDB發(fā)布2.1版本
2018年10月30日，CockroachDB正式發(fā)布2.1版本，其新增特性如下：
新增企業(yè)級特性：
新增SQL特性：
新增內核特性：
Admin UI增強：
時間序列
本期新秀：TimescaleDB發(fā)布1.0版本
10月底，TimescaleDB 1.0宣布正式推出，官方表示該版本已可用于生產(chǎn)環(huán)境，支持完整SQL和擴展。
TimescaleDB是基于PostgreSQL數(shù)據(jù)庫開發(fā)的一款時序數(shù)據(jù)庫，以插件化的形式打包提供，隨著PostgreSQL的版本升級而升級，不會因為另立分支帶來麻煩。
TimescaleDB架構：
數(shù)據(jù)自動按時間和空間分片(chunk)
更新亮點：
大數(shù)據(jù)生態(tài)圈
Hadoop發(fā)布2.9.2版本
2018年11月中旬，Hadoop在2.9分支上發(fā)布了新的2.9.2版本，該版本進行了204個大大小小的變更，主要變更如下：
Greenplum 發(fā)布5.15版本
Greenplum最新的5.15版本中發(fā)布了流式數(shù)據(jù)加載工具。
該版本中的Greenplum Streem Server組件已經(jīng)集成了Kafka流式加載功能，并通過了Confluent官方的集成認證，其支持的主要功能如下：
國產(chǎn)數(shù)據(jù)庫概覽
K-DB發(fā)布數(shù)據(jù)庫一體機版
2018年11月7日，K-DB發(fā)布了數(shù)據(jù)庫一體機版。該版本更新情況如下：
OceanBase遷移服務發(fā)布1.0版本
1月4日，OceanBase 正式發(fā)布OMS遷移服務1.0版本。
以下內容包含 OceanBase 遷移服務的重要特性和功能：
SequoiaDB發(fā)布3.0.1新版本
1、架構
1）完整計算存儲分離架構，兼容MySQL協(xié)議、語法
計算存儲分離體系以松耦合的方式將計算與存儲層分別部署，通過標準接口或插件對各個模塊和組件進行無縫替換，在計算層與存儲層均可實現(xiàn)自由的彈性伸縮。
SequoiaDB巨杉數(shù)據(jù)庫“計算-存儲分離”架構詳細示意
用戶可以根據(jù)自身業(yè)務特征選擇面向交易的SQL解析器（例如MySQL或PGSQL）或面向統(tǒng)計分析的執(zhí)行引擎（例如SparkSQL）。眾所周知，使用不同的SQL優(yōu)化與執(zhí)行方式，數(shù)據(jù)庫的訪問性能可能會存在上千上萬倍的差距。計算存儲分離的核心思想便是在數(shù)據(jù)存儲層面進行一體化存儲，在計算層面則利用每種執(zhí)行引擎的特點針對不同業(yè)務場景進行選擇和優(yōu)化，用戶可以在存儲層進行邏輯與物理的隔離，將面向高頻交易的前端業(yè)務與面向高吞吐量的統(tǒng)計分析使用不同的硬件進行存儲，確保在多類型數(shù)據(jù)訪問時互不干擾，以真正達到生產(chǎn)環(huán)境可用的多租戶與HTAP能力。
2、其他更新信息
1）接口變更：
2）主要特性：
云數(shù)據(jù)庫
本期新秀：騰訊發(fā)布數(shù)據(jù)庫CynosDB，開啟公測
1、News
1）騰訊云數(shù)據(jù)庫MySQL2018年重大更新：
2）騰訊云數(shù)據(jù)庫MongoDB2018年重大更新：
3）騰訊云數(shù)據(jù)庫Redis/CKV+2018年重大更新：
4）騰訊云數(shù)據(jù)庫CTSDB2018年重大更新：
2、Redis 4.0集群版商業(yè)化上線
2018年10月，騰訊云數(shù)據(jù)庫Redis 4.0集群版完成邀測、公測、商業(yè)化三個迭代，在廣州、上海、北京正式全量商業(yè)化上線。
產(chǎn)品特性：
使用場景：
官網(wǎng)文檔：
3、騰訊自研數(shù)據(jù)庫CynosDB發(fā)布，開啟公測
2018年11月22日，騰訊云召開新一代自研數(shù)據(jù)庫CynosDB發(fā)布會，業(yè)界第一款全面兼容市面上兩大最主流的開源數(shù)據(jù)庫MySQL和PostgreSQL的高性能企業(yè)級分布式云數(shù)據(jù)庫。
本期新秀：京東云DRDS發(fā)布1.0版本
12月24日，京東云分布式關系型數(shù)據(jù)庫DRDS正式發(fā)布1.0版本。
DRDS是京東云精心自研的數(shù)據(jù)庫中間件產(chǎn)品，獲得了2018年 ”可信云技術創(chuàng)新獎”。DRDS可實現(xiàn)海量數(shù)據(jù)下的自動分庫分表，具有高性能，分布式，彈性升級，兼容MySQL等優(yōu)點，適用于高并發(fā)、大規(guī)模數(shù)據(jù)的在線交易， 歷史 數(shù)據(jù)查詢，自動數(shù)據(jù)分片等業(yè)務場景，歷經(jīng)多次618，雙十一的考驗，已經(jīng)在京東集團內大規(guī)模使用。
京東云DRDS產(chǎn)品有以下主要特性
1）自動分庫分表
通過簡單的定義即可自動實現(xiàn)分庫分表，將數(shù)據(jù)實際存放在多個MySQL實例的數(shù)據(jù)庫中，但呈現(xiàn)給應用程序的依舊是一張表，對業(yè)務透明，應用程序幾乎無需改動，實現(xiàn)了對數(shù)據(jù)庫存儲和處理能力的水平擴展。
2）分布式架構
基于分布式架構的集群方案，多個對等節(jié)點同時對外提供服務，不但可有效規(guī)避服務的單點故障，而且更加容易擴展。
3）超強性能
具有極高的處理能力，雙節(jié)點即可支持數(shù)萬QPS，滿足用戶超大規(guī)模處理能力的需求。
4）兼容MySQL
兼容絕大部分MySQL語法，包括MySQL語法、數(shù)據(jù)類型、索引、常用函數(shù)、排序、關聯(lián)等DDL，DML語句，使用成本低。
參考鏈接：
RadonDB發(fā)布1.0.3版本
2018年12月26日，MyNewSQL領域的RadonDB云數(shù)據(jù)庫發(fā)布1.0.3版本。
推出dbaplus Newsletter的想法
dbaplus Newsletter旨在向廣大技術愛好者提供數(shù)據(jù)庫行業(yè)的最新技術發(fā)展趨勢，為社區(qū)的技術發(fā)展提供一個統(tǒng)一的發(fā)聲平臺。為此，我們策劃了RDBMS、NoSQL、NewSQL、時間序列、大數(shù)據(jù)生態(tài)圈、國產(chǎn)數(shù)據(jù)庫、云數(shù)據(jù)庫等幾個版塊。
我們不以商業(yè)宣傳為目的，不接受任何商業(yè)廣告宣傳，嚴格審查信息源的可信度和準確性，力爭為大家提供一個純凈的技術學習環(huán)境，歡迎大家監(jiān)督指正。
至于Newsletter發(fā)布的周期，目前計劃是每三個月左右會做一次跟進， 下期計劃時間是2019年4月14日~4月25日， 如果有相關的信息提供請發(fā)送至郵箱：newsletter@dbaplus.cn
感謝名單
最后要感謝那些提供寶貴信息和建議的專家朋友，排名不分先后。
往期回顧：
↓↓別忘了點這里下載 2019年1月 完整版Newsletter 哦~
大數(shù)據(jù)技術的體系龐大且復雜，基礎的技術包含數(shù)據(jù)的采集、數(shù)據(jù)預處理、分布式存儲、數(shù)據(jù)庫、數(shù)據(jù)倉庫、機器學習、并行計算、可視化等。
1、數(shù)據(jù)采集與預處理：FlumeNG實時日志收集系統(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；Zookeeper是一個分布式的，開放源碼的分布式應用程序協(xié)調服務，提供數(shù)據(jù)同步服務。
2、數(shù)據(jù)存儲：Hadoop作為一個開源的框架，專為離線和大規(guī)模數(shù)據(jù)分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用于數(shù)據(jù)存儲。HBase，是一個分布式的、面向列的開源數(shù)據(jù)庫，可以認為是hdfs的封裝，本質是數(shù)據(jù)存儲、NoSQL數(shù)據(jù)庫。
3、數(shù)據(jù)清洗：MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計算。
4、數(shù)據(jù)查詢分析：Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數(shù)據(jù)映射為一張數(shù)據(jù)庫表，并提供HQL(HiveSQL)查詢功能。Spark啟用了內存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。
5、數(shù)據(jù)可視化：對接一些BI平臺，將分析得到的數(shù)據(jù)進行可視化，用于指導決策服務。
大數(shù)據(jù)技術是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力。適用于大數(shù)據(jù)的技術，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計算平臺，互聯(lián)網(wǎng)，和可擴展的存儲系統(tǒng)。
大數(shù)據(jù)平臺是為了計算，現(xiàn)今社會所產(chǎn)生的越來越大的數(shù)據(jù)量。以存儲、運算、展現(xiàn)作為目的的平臺
一．大數(shù)據(jù)技術可存儲巨量數(shù)據(jù)。
大數(shù)據(jù)技術一般使用艾薩華公司(LSI)開發(fā)的芯片存儲技術(以下簡稱LSI技術)，可存儲數(shù)據(jù)超過宇宙天體數(shù)的三倍以上，互聯(lián)網(wǎng)一天所產(chǎn)生的數(shù)據(jù)內容可以刻滿1.68億張DVD，相當于《時代》雜志770年的文字量。艾薩華公司的芯片存儲技術可存儲的數(shù)據(jù)能夠達到千萬億(PB)、百億億(EB)乃至十萬億億(ZB)的級別。
二．大數(shù)據(jù)技術可以抓取、收集類型繁雜的數(shù)據(jù)。
包括各種各樣的語音、非結構化數(shù)據(jù)、圖像、文本信息、地理位置信息、網(wǎng)絡文章等。聯(lián)合包裹速遞服務公司(UPS)早在2009年就開發(fā)了行車整合優(yōu)化和導航大數(shù)據(jù)技術系統(tǒng)(ORION)對快遞線路進行預測和優(yōu)化，截至2013年底，ORI?ON系統(tǒng)已經(jīng)在大約一萬條線路上得到使用，在多送出 42 萬件包裹的情況下，為公司節(jié)省燃料 150 萬噸，少排放二氧化碳 1.4 萬立方米，大數(shù)據(jù)技術正在引導物流企業(yè)將洞察力快速轉化為公司決策。
三．大數(shù)據(jù)分析具有較高的商業(yè)價值和應用價值。
物流領域的數(shù)據(jù)量是非常巨大的，包括來自企業(yè)、互聯(lián)網(wǎng)、港口、運載工具等的數(shù)據(jù)，如何從如此巨大的數(shù)據(jù)中挖掘企業(yè)所需的數(shù)據(jù)資料，就需要借助大數(shù)據(jù)分析技術，如利用大數(shù)據(jù)來分析集裝箱移動信息，物流企業(yè)就能知道哪些港口有剩余運載量，哪些港口吞吐量大，貨物周轉速度快，應在哪個位置的港口部署海運業(yè)務，大數(shù)據(jù)已經(jīng)成為智慧物流的引擎。
四．計算速度快。
采用非關系型數(shù)據(jù)庫技術(NoSQL)和數(shù)據(jù)庫集群技術(MPP NewSQL)快速處理非結構化以及半結構化的數(shù)據(jù)，以獲取高價值信息，這與傳統(tǒng)數(shù)據(jù)處理技術有著本質的區(qū)別。
數(shù)據(jù)的技術應用范圍與使用范圍很廣，背后也擁有者足夠的商業(yè)價值，這就讓大數(shù)據(jù)工程師以及數(shù)據(jù)分析人員有了越來越高的價值。所以更多人選擇學習大數(shù)據(jù)
重慶分公司
重慶分公司
