特點(diǎn)：
創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供巴州網(wǎng)站建設(shè)、巴州做網(wǎng)站、巴州網(wǎng)站設(shè)計(jì)、巴州網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、巴州企業(yè)網(wǎng)站模板建站服務(wù)，十余年巴州做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。
它們可以處理超大量的數(shù)據(jù)。
它們運(yùn)行在便宜的PC服務(wù)器集群上。
PC集群擴(kuò)充起來非常方便并且成本很低，避免了“sharding”操作的復(fù)雜性和成本。
它們擊碎了性能瓶頸。
NoSQL的支持者稱，通過NoSQL架構(gòu)可以省去將Web或Java應(yīng)用和數(shù)據(jù)轉(zhuǎn)換成SQL友好格式的時(shí)間，執(zhí)行速度變得更快。
“SQL并非適用于所有的程序代碼，” 對于那些繁重的重復(fù)操作的數(shù)據(jù)，SQL值得花錢。但是當(dāng)數(shù)據(jù)庫結(jié)構(gòu)非常簡單時(shí)，SQL可能沒有太大用處。
沒有過多的操作。
雖然NoSQL的支持者也承認(rèn)關(guān)系數(shù)據(jù)庫提供了無可比擬的功能集合，而且在數(shù)據(jù)完整性上也發(fā)揮絕對穩(wěn)定，他們同時(shí)也表示，企業(yè)的具體需求可能沒有那么多。
Bootstrap支持
因?yàn)镹oSQL項(xiàng)目都是開源的，因此它們?nèi)狈?yīng)商提供的正式支持。這一點(diǎn)它們與大多數(shù)開源項(xiàng)目一樣，不得不從社區(qū)中尋求支持。
優(yōu)點(diǎn)：
易擴(kuò)展
NoSQL數(shù)據(jù)庫種類繁多，但是一個(gè)共同的特點(diǎn)都是去掉關(guān)系數(shù)據(jù)庫的關(guān)系型特性。數(shù)據(jù)之間無關(guān)系，這樣就非常容易擴(kuò)展。也無形之間，在架構(gòu)的層面上帶來了可擴(kuò)展的能力。
大數(shù)據(jù)量，高性能
NoSQL數(shù)據(jù)庫都具有非常高的讀寫性能，尤其在大數(shù)據(jù)量下，同樣表現(xiàn)優(yōu)秀。這得益于它的無關(guān)系性，數(shù)據(jù)庫的結(jié)構(gòu)簡單。一般MySQL使用 Query Cache，每次表的更新Cache就失效，是一種大粒度的Cache，在針對web2.0的交互頻繁的應(yīng)用，Cache性能不高。而NoSQL的 Cache是記錄級的，是一種細(xì)粒度的Cache，所以NoSQL在這個(gè)層面上來說就要性能高很多了。
靈活的數(shù)據(jù)模型
NoSQL無需事先為要存儲的數(shù)據(jù)建立字段，隨時(shí)可以存儲自定義的數(shù)據(jù)格式。而在關(guān)系數(shù)據(jù)庫里，增刪字段是一件非常麻煩的事情。如果是非常大數(shù)據(jù)量的表，增加字段簡直就是一個(gè)噩夢。這點(diǎn)在大數(shù)據(jù)量的web2.0時(shí)代尤其明顯。
高可用
NoSQL在不太影響性能的情況，就可以方便的實(shí)現(xiàn)高可用的架構(gòu)。比如Cassandra，HBase模型，通過復(fù)制模型也能實(shí)現(xiàn)高可用。
主要應(yīng)用：
Apache HBase
這個(gè)大數(shù)據(jù)管理平臺建立在谷歌強(qiáng)大的BigTable管理引擎基礎(chǔ)上。作為具有開源、Java編碼、分布式多個(gè)優(yōu)勢的數(shù)據(jù)庫，Hbase最初被設(shè)計(jì)應(yīng)用于Hadoop平臺，而這一強(qiáng)大的數(shù)據(jù)管理工具，也被Facebook采用，用于管理消息平臺的龐大數(shù)據(jù)。
Apache Storm
用于處理高速、大型數(shù)據(jù)流的分布式實(shí)時(shí)計(jì)算系統(tǒng)。Storm為Apache Hadoop添加了可靠的實(shí)時(shí)數(shù)據(jù)處理功能，同時(shí)還增加了低延遲的儀表板、安全警報(bào)，改進(jìn)了原有的操作方式，幫助企業(yè)更有效率地捕獲商業(yè)機(jī)會、發(fā)展新業(yè)務(wù)。
Apache Spark
該技術(shù)采用內(nèi)存計(jì)算，從多迭代批量處理出發(fā)，允許將數(shù)據(jù)載入內(nèi)存做反復(fù)查詢，此外還融合數(shù)據(jù)倉庫、流處理和圖計(jì)算等多種計(jì)算范式，Spark用Scala語言實(shí)現(xiàn)，構(gòu)建在HDFS上，能與Hadoop很好的結(jié)合，而且運(yùn)行速度比MapReduce快100倍。
Apache Hadoop
該技術(shù)迅速成為了大數(shù)據(jù)管理標(biāo)準(zhǔn)之一。當(dāng)它被用來管理大型數(shù)據(jù)集時(shí)，對于復(fù)雜的分布式應(yīng)用，Hadoop體現(xiàn)出了非常好的性能，平臺的靈活性使它可以運(yùn)行在商用硬件系統(tǒng)，它還可以輕松地集成結(jié)構(gòu)化、半結(jié)構(gòu)化和甚至非結(jié)構(gòu)化數(shù)據(jù)集。
Apache Drill
你有多大的數(shù)據(jù)集？其實(shí)無論你有多大的數(shù)據(jù)集，Drill都能輕松應(yīng)對。通過支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平臺，允許大規(guī)模數(shù)據(jù)吞吐，而且能很快得出結(jié)果。
Apache Sqoop
也許你的數(shù)據(jù)現(xiàn)在還被鎖定于舊系統(tǒng)中，Sqoop可以幫你解決這個(gè)問題。這一平臺采用并發(fā)連接，可以將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫系統(tǒng)方便地轉(zhuǎn)移到Hadoop中，可以自定義數(shù)據(jù)類型以及元數(shù)據(jù)傳播的映射。事實(shí)上，你還可以將數(shù)據(jù)（如新的數(shù)據(jù)）導(dǎo)入到HDFS、Hive和Hbase中。
Apache Giraph
這是功能強(qiáng)大的圖形處理平臺，具有很好可擴(kuò)展性和可用性。該技術(shù)已經(jīng)被Facebook采用，Giraph可以運(yùn)行在Hadoop環(huán)境中，可以將它直接部署到現(xiàn)有的Hadoop系統(tǒng)中。通過這種方式，你可以得到強(qiáng)大的分布式作圖能力，同時(shí)還能利用上現(xiàn)有的大數(shù)據(jù)處理引擎。
Cloudera Impala
Impala模型也可以部署在你現(xiàn)有的Hadoop群集上，監(jiān)視所有的查詢。該技術(shù)和MapReduce一樣，具有強(qiáng)大的批處理能力，而且Impala對于實(shí)時(shí)的SQL查詢也有很好的效果，通過高效的SQL查詢，你可以很快的了解到大數(shù)據(jù)平臺上的數(shù)據(jù)。
Gephi
它可以用來對信息進(jìn)行關(guān)聯(lián)和量化處理，通過為數(shù)據(jù)創(chuàng)建功能強(qiáng)大的可視化效果，你可以從數(shù)據(jù)中得到不一樣的洞察力。Gephi已經(jīng)支持多個(gè)圖表類型，而且可以在具有上百萬個(gè)節(jié)點(diǎn)的大型網(wǎng)絡(luò)上運(yùn)行。Gephi具有活躍的用戶社區(qū)，Gephi還提供了大量的插件，可以和現(xiàn)有系統(tǒng)完美的集成到一起，它還可以對復(fù)雜的IT連接、分布式系統(tǒng)中各個(gè)節(jié)點(diǎn)、數(shù)據(jù)流等信息進(jìn)行可視化分析。
MongoDB
這個(gè)堅(jiān)實(shí)的平臺一直被很多組織推崇，它在大數(shù)據(jù)管理上有極好的性能。MongoDB最初是由DoubleClick公司的員工創(chuàng)建，現(xiàn)在該技術(shù)已經(jīng)被廣泛的應(yīng)用于大數(shù)據(jù)管理。MongoDB是一個(gè)應(yīng)用開源技術(shù)開發(fā)的NoSQL數(shù)據(jù)庫，可以用于在JSON這樣的平臺上存儲和處理數(shù)據(jù)。目前，紐約時(shí)報(bào)、Craigslist以及眾多企業(yè)都采用了MongoDB，幫助他們管理大型數(shù)據(jù)集。（Couchbase服務(wù)器也作為一個(gè)參考）。
十大頂尖公司：
Amazon Web Services
Forrester將AWS稱為“云霸主”，談到云計(jì)算領(lǐng)域的大數(shù)據(jù)，那就不得不提到亞馬遜。該公司的Hadoop產(chǎn)品被稱為EMR（Elastic Map Reduce），AWS解釋這款產(chǎn)品采用了Hadoop技術(shù)來提供大數(shù)據(jù)管理服務(wù)，但它不是純開源Hadoop，經(jīng)過修改后現(xiàn)在被專門用在AWS云上。
Forrester稱EMR有很好的市場前景。很多公司基于EMR為客戶提供服務(wù)，有一些公司將EMR應(yīng)用于數(shù)據(jù)查詢、建模、集成和管理。而且AWS還在創(chuàng)新，F(xiàn)orrester稱未來EMR可以基于工作量的需要自動(dòng)縮放調(diào)整大小。亞馬遜計(jì)劃為其產(chǎn)品和服務(wù)提供更強(qiáng)大的EMR支持，包括它的RedShift數(shù)據(jù)倉庫、新公布的Kenesis實(shí)時(shí)處理引擎以及計(jì)劃中的NoSQL數(shù)據(jù)庫和商業(yè)智能工具。不過AWS還沒有自己的Hadoop發(fā)行版。
Cloudera
Cloudera有開源Hadoop的發(fā)行版，這個(gè)發(fā)行版采用了Apache Hadoop開源項(xiàng)目的很多技術(shù)，不過基于這些技術(shù)的發(fā)行版也有很大的進(jìn)步。Cloudera為它的Hadoop發(fā)行版開發(fā)了很多功能，包括Cloudera管理器，用于管理和監(jiān)控，以及名為Impala的SQL引擎等。Cloudera的Hadoop發(fā)行版基于開源Hadoop，但也不是純開源的產(chǎn)品。當(dāng)Cloudera的客戶需要Hadoop不具備的某些功能時(shí)，Cloudera的工程師們就會實(shí)現(xiàn)這些功能，或者找一個(gè)擁有這項(xiàng)技術(shù)的合作伙伴。Forrester表示：“Cloudera的創(chuàng)新方法忠于核心Hadoop，但因?yàn)槠淇蓪?shí)現(xiàn)快速創(chuàng)新并積極滿足客戶需求，這一點(diǎn)使它不同于其他那些供應(yīng)商?！蹦壳?，Cloudera的平臺已經(jīng)擁有200多個(gè)付費(fèi)客戶，一些客戶在Cloudera的技術(shù)支持下已經(jīng)可以跨1000多個(gè)節(jié)點(diǎn)實(shí)現(xiàn)對PB級數(shù)據(jù)的有效管理。
Hortonworks
和Cloudera一樣，Hortonworks是一個(gè)純粹的Hadoop技術(shù)公司。與Cloudera不同的是，Hortonworks堅(jiān)信開源Hadoop比任何其他供應(yīng)商的Hadoop發(fā)行版都要強(qiáng)大。Hortonworks的目標(biāo)是建立Hadoop生態(tài)圈和Hadoop用戶社區(qū)，推進(jìn)開源項(xiàng)目的發(fā)展。Hortonworks平臺和開源Hadoop聯(lián)系緊密，公司管理人員表示這會給用戶帶來好處，因?yàn)樗梢苑乐贡还?yīng)商套牢（如果Hortonworks的客戶想要離開這個(gè)平臺，他們可以輕松轉(zhuǎn)向其他開源平臺）。這并不是說Hortonworks完全依賴開源Hadoop技術(shù)，而是因?yàn)樵摴緦⑵渌虚_發(fā)的成果回報(bào)給了開源社區(qū)，比如Ambari，這個(gè)工具就是由Hortonworks開發(fā)而成，用來填充集群管理項(xiàng)目漏洞。Hortonworks的方案已經(jīng)得到了Teradata、Microsoft、Red Hat和SAP這些供應(yīng)商的支持。
IBM
當(dāng)企業(yè)考慮一些大的IT項(xiàng)目時(shí)，很多人首先會想到IBM。IBM是Hadoop項(xiàng)目的主要參與者之一，F(xiàn)orrester稱IBM已有100多個(gè)Hadoop部署，它的很多客戶都有PB級的數(shù)據(jù)。IBM在網(wǎng)格計(jì)算、全球數(shù)據(jù)中心和企業(yè)大數(shù)據(jù)項(xiàng)目實(shí)施等眾多領(lǐng)域有著豐富的經(jīng)驗(yàn)?！癐BM計(jì)劃繼續(xù)整合SPSS分析、高性能計(jì)算、BI工具、數(shù)據(jù)管理和建模、應(yīng)對高性能計(jì)算的工作負(fù)載管理等眾多技術(shù)。”
Intel
和AWS類似，英特爾不斷改進(jìn)和優(yōu)化Hadoop使其運(yùn)行在自己的硬件上，具體來說，就是讓Hadoop運(yùn)行在其至強(qiáng)芯片上，幫助用戶打破Hadoop系統(tǒng)的一些限制，使軟件和硬件結(jié)合的更好，英特爾的Hadoop發(fā)行版在上述方面做得比較好。Forrester指出英特爾在最近才推出這個(gè)產(chǎn)品，所以公司在未來還有很多改進(jìn)的可能，英特爾和微軟都被認(rèn)為是Hadoop市場上的潛力股。
MapR Technologies
MapR的Hadoop發(fā)行版目前為止也許是最好的了，不過很多人可能都沒有聽說過。Forrester對Hadoop用戶的調(diào)查顯示，MapR的評級最高，其發(fā)行版在架構(gòu)和數(shù)據(jù)處理能力上都獲得了最高分。MapR已將一套特殊功能融入其Hadoop發(fā)行版中。例如網(wǎng)絡(luò)文件系統(tǒng)（NFS）、災(zāi)難恢復(fù)以及高可用性功能。Forrester說MapR在Hadoop市場上沒有Cloudera和Hortonworks那樣的知名度，MapR要成為一個(gè)真正的大企業(yè)，還需要加強(qiáng)伙伴關(guān)系和市場營銷。
Microsoft
微軟在開源軟件問題上一直很低調(diào)，但在大數(shù)據(jù)形勢下，它不得不考慮讓W(xué)indows也兼容Hadoop，它還積極投入到開源項(xiàng)目中，以更廣泛地推動(dòng)Hadoop生態(tài)圈的發(fā)展。我們可以在微軟的公共云Windows Azure HDInsight產(chǎn)品中看到其成果。微軟的Hadoop服務(wù)基于Hortonworks的發(fā)行版，而且是為Azure量身定制的。
微軟也有一些其他的項(xiàng)目，包括名為Polybase的項(xiàng)目，讓Hadoop查詢實(shí)現(xiàn)了SQLServer查詢的一些功能。Forrester說：“微軟在數(shù)據(jù)庫、數(shù)據(jù)倉庫、云、OLAP、BI、電子表格（包括PowerPivot）、協(xié)作和開發(fā)工具市場上有很大優(yōu)勢，而且微軟擁有龐大的用戶群，但要在Hadoop這個(gè)領(lǐng)域成為行業(yè)領(lǐng)導(dǎo)者還有很遠(yuǎn)的路要走?！?/p>
Pivotal Software
EMC和Vmware部分大數(shù)據(jù)業(yè)務(wù)分拆組合產(chǎn)生了Pivotal。Pivotal一直努力構(gòu)建一個(gè)性能優(yōu)越的Hadoop發(fā)行版，為此，Pivotal在開源Hadoop的基礎(chǔ)上又添加了一些新的工具，包括一個(gè)名為HAWQ的SQL引擎以及一個(gè)專門解決大數(shù)據(jù)問題的Hadoop應(yīng)用。Forrester稱Pivotal Hadoop平臺的優(yōu)勢在于它整合了Pivotal、EMC、Vmware的眾多技術(shù)，Pivotal的真正優(yōu)勢實(shí)際上等于EMC和Vmware兩大公司為其撐腰。到目前為止，Pivotal的用戶還不到100個(gè)，而且大多是中小型客戶。
Teradata
對于Teradata來說，Hadoop既是一種威脅也是一種機(jī)遇。數(shù)據(jù)管理，特別是關(guān)于SQL和關(guān)系數(shù)據(jù)庫這一領(lǐng)域是Teradata的專長。所以像Hadoop這樣的NoSQL平臺崛起可能會威脅到Teradata。相反，Teradata接受了Hadoop，通過與Hortonworks合作，Teradata在Hadoop平臺集成了SQL技術(shù)，這使Teradata的客戶可以在Hadoop平臺上方便地使用存儲在Teradata數(shù)據(jù)倉庫中的數(shù)據(jù)。
AMPLab
通過將數(shù)據(jù)轉(zhuǎn)變?yōu)樾畔?，我們才可以理解世界，而這也正是AMPLab所做的。AMPLab致力于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)庫、信息檢索、自然語言處理和語音識別等多個(gè)領(lǐng)域，努力改進(jìn)對信息包括不透明數(shù)據(jù)集內(nèi)信息的甄別技術(shù)。除了Spark，開源分布式SQL查詢引擎Shark也源于AMPLab，Shark具有極高的查詢效率，具有良好的兼容性和可擴(kuò)展性。近幾年的發(fā)展使計(jì)算機(jī)科學(xué)進(jìn)入到全新的時(shí)代，而AMPLab為我們設(shè)想一個(gè)運(yùn)用大數(shù)據(jù)、云計(jì)算、通信等各種資源和技術(shù)靈活解決難題的方案，以應(yīng)對越來越復(fù)雜的各種難題。
用正則匹配，把這個(gè)字段看成字符串類型的。類似這種寫法：
SELECT DISTINCT tag, body FROM pages
WHERE (body REGEXP BINARY '"listeListeOuiNon":".*1.*"') AND NOT (body REGEXP BINARY '"listeListeOuiNon":"2"')
在大數(shù)據(jù)分析技術(shù)是多種技術(shù)和加工方法的組合。使它們有效的原因是企業(yè)集體使用它們以獲得戰(zhàn)略管理和實(shí)施的相關(guān)結(jié)果。
盡管投資熱情高漲，而且雄心勃勃地利用數(shù)據(jù)的力量來改造企業(yè)，但成功的結(jié)果卻各不相同。組織仍在努力打造所謂的“數(shù)據(jù)驅(qū)動(dòng)”文化。報(bào)告啟動(dòng)該項(xiàng)目的高管中，只有40.2%的報(bào)告成功。大型轉(zhuǎn)型需要時(shí)間，而絕大多數(shù)公司都渴望實(shí)現(xiàn)“數(shù)據(jù)驅(qū)動(dòng)”，但只有極少數(shù)公司意識到了這一雄心。文化轉(zhuǎn)型很少在一夜之間發(fā)生。
在大數(shù)據(jù)發(fā)展的這一點(diǎn)上，大多數(shù)公司面臨的挑戰(zhàn)與技術(shù)無關(guān)。采納的最大障礙與文化挑戰(zhàn)有關(guān)：組織一致性，抵抗或缺乏理解以及變更管理。
以下是支持企業(yè)大數(shù)據(jù)的一些關(guān)鍵技術(shù)：
1)預(yù)測分析
作為企業(yè)規(guī)避決策風(fēng)險(xiǎn)的主要工具之一，預(yù)測分析可以幫助企業(yè)。預(yù)測分析硬件和軟件解決方案可以通過處理大數(shù)據(jù)來用于發(fā)現(xiàn)，評估和部署預(yù)測方案。這樣的數(shù)據(jù)可以幫助公司為即將發(fā)生的事情做好準(zhǔn)備，并通過分析和理解問題來幫助解決問題。
2)NoSQL數(shù)據(jù)庫
這些數(shù)據(jù)庫可用于可擴(kuò)展數(shù)量的存儲節(jié)點(diǎn)上的可靠，高效的數(shù)據(jù)管理。NoSQL數(shù)據(jù)庫將數(shù)據(jù)存儲為關(guān)系數(shù)據(jù)庫表，JSON文檔或鍵值對。
3)知識發(fā)現(xiàn)工具
這些工具使企業(yè)可以挖掘存儲在多個(gè)源上的大數(shù)據(jù)(結(jié)構(gòu)化和非結(jié)構(gòu)化)。這些源可以是不同的文件系統(tǒng)，API，DBMS或類似平臺。借助搜索和知識發(fā)現(xiàn)工具，企業(yè)可以隔離和利用信息以使其受益。
4)流分析
有時(shí)，組織需要處理的數(shù)據(jù)可以存儲在多個(gè)平臺上并以多種格式存儲。流分析軟件對于過濾，聚合和分析此類大數(shù)據(jù)非常有用。流分析還允許連接到外部數(shù)據(jù)源，并將其集成到應(yīng)用程序流中。
5)內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)
這項(xiàng)技術(shù)有助于在系統(tǒng)資源(例如動(dòng)態(tài)RAM，閃存或固態(tài)存儲驅(qū)動(dòng)器)之間分配大量數(shù)據(jù)。依次啟用低延遲訪問和連接節(jié)點(diǎn)上的大數(shù)據(jù)處理。
6)分布式存儲
分布式文件存儲包含復(fù)制數(shù)據(jù)，是一種應(yīng)對獨(dú)立節(jié)點(diǎn)故障以及大數(shù)據(jù)源丟失或損壞的方法。有時(shí)，還復(fù)制數(shù)據(jù)以在大型計(jì)算機(jī)網(wǎng)絡(luò)上實(shí)現(xiàn)低延遲的快速訪問。這些通常是非關(guān)系數(shù)據(jù)庫。
7)數(shù)據(jù)虛擬化
它使應(yīng)用程序能夠檢索數(shù)據(jù)而無需實(shí)施技術(shù)限制，例如數(shù)據(jù)格式，數(shù)據(jù)的物理位置等。Apache Hadoop和其他分布式數(shù)據(jù)存儲用于將其實(shí)時(shí)或接近實(shí)時(shí)地訪問存儲在各種平臺上的數(shù)據(jù)，數(shù)據(jù)。虛擬化是最常用的大數(shù)據(jù)技術(shù)之一。
8)數(shù)據(jù)整合
對于大多數(shù)處理大數(shù)據(jù)的組織而言，一個(gè)關(guān)鍵的運(yùn)營挑戰(zhàn)是以對客戶交付品有用的方式處理TB級數(shù)據(jù)。數(shù)據(jù)集成工具使企業(yè)可以跨多個(gè)大數(shù)據(jù)解決方案簡化數(shù)據(jù)，例如Amazon EMR，Apache Hive，Apache Pig，Apache Spark，Hadoop，MapReduce，MongoDB和Couchbase。
9)數(shù)據(jù)預(yù)處理
這些軟件解決方案用于將數(shù)據(jù)處理為一致的格式，并可以用于進(jìn)一步分析。數(shù)據(jù)準(zhǔn)備工具通過格式化和清理非結(jié)構(gòu)化數(shù)據(jù)集來加速數(shù)據(jù)共享過程。數(shù)據(jù)預(yù)處理的局限性在于它的所有任務(wù)都無法自動(dòng)化并且需要人工監(jiān)督，這可能既繁瑣又耗時(shí)。
10)數(shù)據(jù)質(zhì)量
大數(shù)據(jù)處理的一個(gè)重要參數(shù)是數(shù)據(jù)質(zhì)量。數(shù)據(jù)質(zhì)量軟件可以利用并行處理進(jìn)行大數(shù)據(jù)集的清理和充實(shí)。這些軟件被廣泛用于從大數(shù)據(jù)處理中獲得一致且可靠的輸出。
總而言之，大數(shù)據(jù)已被用于提高運(yùn)營效率，并且基于最新的最新信息做出明智決策的能力正迅速成為主流規(guī)范。
毫無疑問，大數(shù)據(jù)將繼續(xù)在全球許多不同行業(yè)中發(fā)揮重要作用。它絕對可以為企業(yè)組織創(chuàng)造奇跡。為了獲得更多收益，對員工進(jìn)行大數(shù)據(jù)管理培訓(xùn)非常重要。正確管理大數(shù)據(jù)，您的業(yè)務(wù)將更加高效。
相關(guān)推薦
企業(yè)使用大數(shù)據(jù)分析的10種關(guān)鍵技術(shù)
大數(shù)據(jù)分析的原理和潛力
如何成為大數(shù)據(jù)分析師進(jìn)階指南
大數(shù)據(jù)分析與機(jī)器學(xué)習(xí)之間的區(qū)別與聯(lián)系
大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢
大數(shù)據(jù)分析技術(shù)應(yīng)用領(lǐng)域有哪些
如何學(xué)習(xí)大數(shù)據(jù)分析
大數(shù)據(jù)分析太難了學(xué)的想哭
哪些人適合學(xué)大數(shù)據(jù)分析
在MySQL與PostgreSQL的對比中，PG的JSON格式支持優(yōu)勢總是不斷被拿來比較。其實(shí)早先MariaDB也有對非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行存儲的方案，稱為dynamic column，但是方案是通過BLOB類型的方式來存儲。這樣導(dǎo)致的問題是查詢性能不高，不能有效建立索引，與一些文檔數(shù)據(jù)庫對比，優(yōu)勢并不大，故在社區(qū)的反應(yīng)其實(shí)比較一般。當(dāng)然，MariaDB的dynamic column功能還不僅限于非結(jié)構(gòu)化數(shù)據(jù)的存儲，但不在本文進(jìn)行展開。
MySQL 5.7.7 labs版本開始InnoDB存儲引擎已經(jīng)原生支持JSON格式，該格式不是簡單的BLOB類似的替換。原生的JSON格式支持有以下的優(yōu)勢：
JSON數(shù)據(jù)有效性檢查：BLOB類型無法在數(shù)據(jù)庫層做這樣的約束性檢查
查詢性能的提升：查詢不需要遍歷所有字符串才能找到數(shù)據(jù)
支持索引：通過虛擬列的功能可以對JSON中的部分?jǐn)?shù)據(jù)進(jìn)行索引
首先我們來看如何在MySQL中使用原生的JSON格式：
mysql create table user ( uid int auto_increment,
- data json,primary key(uid))engine=innodb;
Query OK, 0 rows affected (0.01 sec)
mysql insert into user values (NULL,
- '{"name":"David","mail":"jiangchengyao@gmail.com","address":"Shangahai"}');
Query OK, 1 row affected (0.00 sec)
mysql insert into user values (NULL,'{"name":"Amy","mail":"amy@gmail.com"}');
Query OK, 1 row affected (0.00 sec)
可以看到我們新建了表user，并且將列data定義為了JSON類型。這意味著我們可以對插入的數(shù)據(jù)做JSON格式檢查，確保其符合JSON格式的約束，如插入一條不合法的JSON數(shù)據(jù)會報(bào)如下錯(cuò)誤：
mysql insert into user values (NULL,"test");
ERROR 3130 (22032): Invalid JSON text: "Invalid value" at position 2 in value (or column) 'test'.
此外，正如前面所說的，MySQL 5.7提供了一系列函數(shù)來高效地處理JSON字符，而不是需要遍歷所有字符來查找，這不得不說是對MariaDB dynamic column的巨大改進(jìn)：
mysql select jsn_extract(data, '$.name'),jsn_extract(data,'$.address') from user;
+-----------------------------+-------------------------------+
| jsn_extract(data, '$.name') | jsn_extract(data,'$.address') |
+-----------------------------+-------------------------------+
| "David" | "Shangahai" |
| "Amy" | NULL |
+-----------------------------+-------------------------------+
2 rows in set (0.00 sec)
當(dāng)然，最令人的激動(dòng)的功能應(yīng)該是MySQL 5.7的虛擬列功能，通過傳統(tǒng)的B+樹索引即可實(shí)現(xiàn)對JSON格式部分屬性的快速查詢。使用方法是首先創(chuàng)建該虛擬列，然后在該虛擬列上創(chuàng)建索引：
mysql ALTER TABLE user ADD user_name varchar(128)
- GENERATED ALWAYS AS (jsn_extract(data,'$.name')) VIRTUAL;
Query OK, 0 rows affected (0.01 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql select user_name from user;
+-----------+
| user_name |
+-----------+
| "Amy" |
| "David" |
+-----------+
2 rows in set (0.00 sec)
mysql alter table user add index idx_username (user_name);
Query OK, 2 rows affected (0.01 sec)
Records: 2 Duplicates: 0 Warnings: 0
然后可以通過添加的索引對用戶名進(jìn)行快速的查詢，這和普通類型的列查詢一樣。而通過explain可以驗(yàn)證優(yōu)化器已經(jīng)選擇了在虛擬列上創(chuàng)建的新索引：
mysql explain select * from user where user_name='"Amy"'\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: user
partitions: NULL
type: ref
possible_keys: idx_username
key: idx_username
key_len: 131
ref: const
rows: 1
filtered: 100.00
Extra: NULL
1 row in set, 1 warning (0.00 sec)
可以發(fā)現(xiàn)MySQL 5.7對于JSON格式堪稱完美，相信PostgreSQL陣營需要尋找新的策略來“攻擊”MySQL了吧。如無意外，還是會停留在優(yōu)化器這塊，畢竟這塊是目前MySQL必須要克服的最大問題，好在MySQL團(tuán)隊(duì)已經(jīng)在重構(gòu)優(yōu)化器代碼，相信更好的優(yōu)化器將會在下一個(gè)版本中全面爆發(fā)。而一大堆文檔數(shù)據(jù)庫們已經(jīng)哭暈在廁所了吧。
postgreSQL是一款先進(jìn)的開源數(shù)據(jù)庫，擁有非常齊全的自由軟件的對象-關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（ORDBMS），可面向企業(yè)復(fù)雜SQL的OLTP業(yè)務(wù)場景，支持多項(xiàng)企業(yè)級功能，能解決使用數(shù)據(jù)庫的各種難題。
PostgreSQL的優(yōu)勢有很多。它是一個(gè)免費(fèi)的對象-關(guān)系數(shù)據(jù)庫服務(wù)器(ORDBMS)，在靈活的BSD許可證下發(fā)行。
postgreSQL的特征
函數(shù)：通過函數(shù)，可以在數(shù)據(jù)庫服務(wù)器端執(zhí)行指令程序。
索引：用戶可以自定義索引方法，或使用內(nèi)置的 B 樹，哈希表與 GiST 索引。
觸發(fā)器：觸發(fā)器是由SQL語句查詢所觸發(fā)的事件。如：一個(gè)INSERT語句可能觸發(fā)一個(gè)檢查數(shù)據(jù)完整性的觸發(fā)器。觸發(fā)器通常由INSERT或UPDATE語句觸發(fā)。 多版本并發(fā)控制：PostgreSQL使用多版本并發(fā)控制（MVCC，Multiversion concurrency control）系統(tǒng)進(jìn)行并發(fā)控制，該系統(tǒng)向每個(gè)用戶提供了一個(gè)數(shù)據(jù)庫的"快照"，用戶在事務(wù)內(nèi)所作的每個(gè)修改，對于其他的用戶都不可見，直到該事務(wù)成功提交。
規(guī)則：規(guī)則（RULE）允許一個(gè)查詢能被重寫，通常用來實(shí)現(xiàn)對視圖（VIEW）的操作，如插入（INSERT）、更新（UPDATE）、刪除（DELETE）。
數(shù)據(jù)類型：包括文本、任意精度的數(shù)值數(shù)組、JSON 數(shù)據(jù)、枚舉類型、XML 數(shù)據(jù)等。全文檢索：通過 Tsearch2 或 OpenFTS，8.3版本中內(nèi)嵌 Tsearch2。
NoSQL：JSON，JSONB，XML，HStore 原生支持，至 NoSQL 數(shù)據(jù)庫的外部數(shù)據(jù)包裝器。
數(shù)據(jù)倉庫：能平滑遷移至同屬postgreSQL生態(tài)的GreenPlum，DeepGreen，HAWK 等，使用 FDW 進(jìn)行 ETL。
常見的非關(guān)系型數(shù)據(jù)庫有：1、mongodb；2、cassandra；3、redis；4、hbase；5、neo4j。其中mongodb是非常著名的NoSQL數(shù)據(jù)庫，它是一個(gè)面向文檔的開源數(shù)據(jù)庫。
常見的幾種非關(guān)系型數(shù)據(jù)庫：
1、MongoDB
MongoDB是最著名的NoSQL數(shù)據(jù)庫。它是一個(gè)面向文檔的開源數(shù)據(jù)庫。MongoDB是一個(gè)可伸縮和可訪問的數(shù)據(jù)庫。它在c++中。MongoDB同樣可以用作文件系統(tǒng)。在MongoDB中，JavaScript可以作為查詢語言使用。通過使用sharding MongoDB水平伸縮。它在流行的JavaScript框架中非常有用。
人們真的很享受分片、高級文本搜索、gridFS和map-reduce功能。驚人的性能和新特性使這個(gè)NoSQL數(shù)據(jù)庫在我們的列表中名列第一。
特點(diǎn)：提供高性能；自動(dòng)分片；運(yùn)行在多個(gè)服務(wù)器上；支持主從復(fù)制；數(shù)據(jù)以JSON樣式文檔的形式存儲；索引文檔中的任何字段；由于數(shù)據(jù)被放置在碎片中，所以它具有自動(dòng)負(fù)載平衡配置；支持正則表達(dá)式搜索；在失敗的情況下易于管理。
優(yōu)點(diǎn)：易于安裝MongoDB；MongoDB Inc.為客戶提供專業(yè)支持；支持臨時(shí)查詢；高速數(shù)據(jù)庫；無模式數(shù)據(jù)庫；橫向擴(kuò)展數(shù)據(jù)庫；性能非常高。
缺點(diǎn)：不支持連接；數(shù)據(jù)量大；嵌套文檔是有限的；增加不必要的內(nèi)存使用。
2、Cassandra
Cassandra是Facebook為收件箱搜索開發(fā)的。Cassandra是一個(gè)用于處理大量結(jié)構(gòu)化數(shù)據(jù)的分布式數(shù)據(jù)存儲系統(tǒng)。通常，這些數(shù)據(jù)分布在許多普通服務(wù)器上。您還可以添加數(shù)據(jù)存儲容量，使您的服務(wù)保持在線，您可以輕松地完成這項(xiàng)任務(wù)。由于集群中的所有節(jié)點(diǎn)都是相同的，因此不需要處理復(fù)雜的配置。
Cassandra是用Java編寫的。Cassandra查詢語言(CQL)是查詢Cassandra數(shù)據(jù)庫的一種類似sql的語言。因此，Cassandra在最佳開源數(shù)據(jù)庫中排名第二。Facebook、Twitter、思科(Cisco)、Rackspace、eBay、Twitter、Netflix等一些最大的公司都在使用Cassandra。
特點(diǎn)：線性可伸縮；；保持快速響應(yīng)時(shí)間；支持原子性、一致性、隔離性和耐久性(ACID)等屬性；使用Apache Hadoop支持MapReduce；分配數(shù)據(jù)的最大靈活性；高度可伸縮；點(diǎn)對點(diǎn)架構(gòu)。
優(yōu)點(diǎn)：高度可伸縮；無單點(diǎn)故障；Multi-DC復(fù)制；與其他基于JVM的應(yīng)用程序緊密集成；更適合多數(shù)據(jù)中心部署、冗余、故障轉(zhuǎn)移和災(zāi)難恢復(fù)。
缺點(diǎn)：對聚合的有限支持；不可預(yù)知的性能；不支持特別查詢。
3、Redis
Redis是一個(gè)鍵值存儲。此外，它是最著名的鍵值存儲。Redis支持一些c++、PHP、Ruby、Python、Perl、Scala等等。Redis是用C語言編寫的。此外，它是根據(jù)BSD授權(quán)的。
特點(diǎn)：自動(dòng)故障轉(zhuǎn)移；將其數(shù)據(jù)庫完全保存在內(nèi)存中；事務(wù)；Lua腳本；將數(shù)據(jù)復(fù)制到任意數(shù)量的從屬服務(wù)器；鑰匙的壽命有限；LRU驅(qū)逐鑰匙；支持發(fā)布/訂閱。
優(yōu)點(diǎn)：支持多種數(shù)據(jù)類型；很容易安裝；非常快（每秒執(zhí)行約11萬組，每秒執(zhí)行約81000次）；操作都是原子的；多用途工具（在許多用例中使用）。
缺點(diǎn)：不支持連接；存儲過程所需的Lua知識；數(shù)據(jù)集必須很好地適應(yīng)內(nèi)存。
4、HBase
HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（File System）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。
HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個(gè)不同的是HBase基于列的而不是基于行的模式。
5、neo4j
Neo4j被稱為原生圖數(shù)據(jù)庫，因?yàn)樗行У貙?shí)現(xiàn)了屬性圖模型，一直到存儲層。這意味著數(shù)據(jù)完全按照白板的方式存儲，數(shù)據(jù)庫使用指針導(dǎo)航和遍歷圖。Neo4j有數(shù)據(jù)庫的社區(qū)版和企業(yè)版。企業(yè)版包括Community Edition必須提供的所有功能，以及額外的企業(yè)需求，如備份、集群和故障轉(zhuǎn)移功能。
特點(diǎn)：它支持唯一的約束；Neo4j支持完整的ACID(原子性、一致性、隔離性和持久性)規(guī)則；Java API: Cypher API和本機(jī)Java API；使用Apache Lucence索引；簡單查詢語言Neo4j CQL；包含用于執(zhí)行CQL命令的UI: Neo4j Data Browser。
優(yōu)點(diǎn)：容易檢索其相鄰節(jié)點(diǎn)或關(guān)系細(xì)節(jié)，無需連接或索引；易于學(xué)習(xí)Neo4j CQL查詢語言命令；不需要復(fù)雜的連接來檢索數(shù)據(jù)；非常容易地表示半結(jié)構(gòu)化數(shù)據(jù)；大型企業(yè)實(shí)時(shí)應(yīng)用程序的高可用性；簡化的調(diào)優(yōu)。
缺點(diǎn)：不支持分片
重慶分公司
重慶分公司
