2. 什么是NoSQL？
10年積累的成都網站建設、成都做網站經驗，可以快速應對客戶對網站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網絡服務。我雖然不認識你，你也不認識我。但先做網站后付款的網站建設流程，更有東麗免費網站建設讓你可以放心的選擇與我們合作。
2.1 NoSQL 概述
NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，
泛指非關系型的數據庫。隨著互聯網web2.0網站的興起，傳統(tǒng)的關系數據庫在應付web2.0網站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動態(tài)網站已經顯得力不從心，暴露了很多難以克服的問題，而非關系型的數據庫則由于其本身的特點得到了非常迅速的發(fā)展。NoSQL數據庫的產生就是為了解決大規(guī)模數據集合多重數據種類帶來的挑戰(zhàn)，尤其是大數據應用難題，包括超大規(guī)模數據的存儲。
（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數據）。這些類型的數據存儲不需要固定的模式，無需多余操作就可以橫向擴展。
2.2 NoSQL代表
MongDB、 Redis、Memcache
3. 關系型數據庫與NoSQL的區(qū)別？
3.1 RDBMS
高度組織化結構化數據
結構化查詢語言（SQL）
數據和關系都存儲在單獨的表中。
數據操縱語言，數據定義語言
嚴格的一致性
基礎事務
ACID
關系型數據庫遵循ACID規(guī)則
事務在英文中是transaction，和現實世界中的交易很類似，它有如下四個特性：
A (Atomicity) 原子性
原子性很容易理解，也就是說事務里的所有操作要么全部做完，要么都不做，事務成功的條件是事務里的所有操作都成功，只要有一個操作失敗，整個事務就失敗，需要回滾。比如銀行轉賬，從A賬戶轉100元至B賬戶，分為兩個步驟：1）從A賬戶取100元；2）存入100元至B賬戶。這兩步要么一起完成，要么一起不完成，如果只完成第一步，第二步失敗，錢會莫名其妙少了100元。
C (Consistency) 一致性
一致性也比較容易理解，也就是說數據庫要一直處于一致的狀態(tài)，事務的運行不會改變數據庫原本的一致性約束。
I (Isolation) 獨立性
所謂的獨立性是指并發(fā)的事務之間不會互相影響，如果一個事務要訪問的數據正在被另外一個事務修改，只要另外一個事務未提交，它所訪問的數據就不受未提交事務的影響。比如現有有個交易是從A賬戶轉100元至B賬戶，在這個交易還未完成的情況下，如果此時B查詢自己的賬戶，是看不到新增加的100元的
D (Durability) 持久性
持久性是指一旦事務提交后，它所做的修改將會永久的保存在數據庫上，即使出現宕機也不會丟失。
3.2 NoSQL
代表著不僅僅是SQL
沒有聲明性查詢語言
沒有預定義的模式
鍵 - 值對存儲，列存儲，文檔存儲，圖形數據庫
最終一致性，而非ACID屬性
非結構化和不可預知的數據
CAP定理
高性能，高可用性和可伸縮性
分布式數據庫中的CAP原理(了解)
CAP定理：
Consistency(一致性), 數據一致更新，所有數據變動都是同步的
Availability(可用性), 好的響應性能
Partition tolerance(分區(qū)容錯性) 可靠性
P: 系統(tǒng)中任意信息的丟失或失敗不會影響系統(tǒng)的繼續(xù)運作。
定理：任何分布式系統(tǒng)只可同時滿足二點，沒法三者兼顧。
CAP理論的核心是：一個分布式系統(tǒng)不可能同時很好的滿足一致性，可用性和分區(qū)容錯性這三個需求，
因此，根據 CAP 原理將 NoSQL 數據庫分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類：
CA - 單點集群，滿足一致性，可用性的系統(tǒng)，通常在可擴展性上不太強大。
CP - 滿足一致性，分區(qū)容忍性的系統(tǒng)，通常性能不是特別高。
AP - 滿足可用性，分區(qū)容忍性的系統(tǒng)，通常可能對一致性要求低一些。
CAP理論就是說在分布式存儲系統(tǒng)中，最多只能實現上面的兩點。
而由于當前的網絡硬件肯定會出現延遲丟包等問題，所以分區(qū)容忍性是我們必須需要實現的。
所以我們只能在一致性和可用性之間進行權衡，沒有NoSQL系統(tǒng)能同時保證這三點。
說明：C：強一致性 A：高可用性 P：分布式容忍性
舉例：
CA：傳統(tǒng)Oracle數據庫
AP：大多數網站架構的選擇
CP：Redis、Mongodb
注意：分布式架構的時候必須做出取舍。
一致性和可用性之間取一個平衡。多余大多數web應用，其實并不需要強一致性。
因此犧牲C換取P，這是目前分布式數據庫產品的方向。
4. 當下NoSQL的經典應用
當下的應用是 SQL 與 NoSQL 一起使用的。
代表項目：阿里巴巴商品信息的存放。
去 IOE 化。
ps：I 是指 IBM 的小型機，很貴的，好像好幾萬一臺；O 是指 Oracle 數據庫，也很貴的，好幾萬呢；M 是指 EMC 的存儲設備，也很貴的。
難點：
數據類型多樣性。
數據源多樣性和變化重構。
數據源改造而服務平臺不需要大面積重構。
特點：
它們可以處理超大量的數據。
它們運行在便宜的PC服務器集群上。
PC集群擴充起來非常方便并且成本很低，避免了“sharding”操作的復雜性和成本。
它們擊碎了性能瓶頸。
NoSQL的支持者稱，通過NoSQL架構可以省去將Web或Java應用和數據轉換成SQL友好格式的時間，執(zhí)行速度變得更快。
“SQL并非適用于所有的程序代碼，” 對于那些繁重的重復操作的數據，SQL值得花錢。但是當數據庫結構非常簡單時，SQL可能沒有太大用處。
沒有過多的操作。
雖然NoSQL的支持者也承認關系數據庫提供了無可比擬的功能集合，而且在數據完整性上也發(fā)揮絕對穩(wěn)定，他們同時也表示，企業(yè)的具體需求可能沒有那么多。
Bootstrap支持
因為NoSQL項目都是開源的，因此它們缺乏供應商提供的正式支持。這一點它們與大多數開源項目一樣，不得不從社區(qū)中尋求支持。
優(yōu)點：
易擴展
NoSQL數據庫種類繁多，但是一個共同的特點都是去掉關系數據庫的關系型特性。數據之間無關系，這樣就非常容易擴展。也無形之間，在架構的層面上帶來了可擴展的能力。
大數據量，高性能
NoSQL數據庫都具有非常高的讀寫性能，尤其在大數據量下，同樣表現優(yōu)秀。這得益于它的無關系性，數據庫的結構簡單。一般MySQL使用 Query Cache，每次表的更新Cache就失效，是一種大粒度的Cache，在針對web2.0的交互頻繁的應用，Cache性能不高。而NoSQL的 Cache是記錄級的，是一種細粒度的Cache，所以NoSQL在這個層面上來說就要性能高很多了。
靈活的數據模型
NoSQL無需事先為要存儲的數據建立字段，隨時可以存儲自定義的數據格式。而在關系數據庫里，增刪字段是一件非常麻煩的事情。如果是非常大數據量的表，增加字段簡直就是一個噩夢。這點在大數據量的web2.0時代尤其明顯。
高可用
NoSQL在不太影響性能的情況，就可以方便的實現高可用的架構。比如Cassandra，HBase模型，通過復制模型也能實現高可用。
主要應用：
Apache HBase
這個大數據管理平臺建立在谷歌強大的BigTable管理引擎基礎上。作為具有開源、Java編碼、分布式多個優(yōu)勢的數據庫，Hbase最初被設計應用于Hadoop平臺，而這一強大的數據管理工具，也被Facebook采用，用于管理消息平臺的龐大數據。
Apache Storm
用于處理高速、大型數據流的分布式實時計算系統(tǒng)。Storm為Apache Hadoop添加了可靠的實時數據處理功能，同時還增加了低延遲的儀表板、安全警報，改進了原有的操作方式，幫助企業(yè)更有效率地捕獲商業(yè)機會、發(fā)展新業(yè)務。
Apache Spark
該技術采用內存計算，從多迭代批量處理出發(fā)，允許將數據載入內存做反復查詢，此外還融合數據倉庫、流處理和圖計算等多種計算范式，Spark用Scala語言實現，構建在HDFS上，能與Hadoop很好的結合，而且運行速度比MapReduce快100倍。
Apache Hadoop
該技術迅速成為了大數據管理標準之一。當它被用來管理大型數據集時，對于復雜的分布式應用，Hadoop體現出了非常好的性能，平臺的靈活性使它可以運行在商用硬件系統(tǒng)，它還可以輕松地集成結構化、半結構化和甚至非結構化數據集。
Apache Drill
你有多大的數據集？其實無論你有多大的數據集，Drill都能輕松應對。通過支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平臺，允許大規(guī)模數據吞吐，而且能很快得出結果。
Apache Sqoop
也許你的數據現在還被鎖定于舊系統(tǒng)中，Sqoop可以幫你解決這個問題。這一平臺采用并發(fā)連接，可以將數據從關系數據庫系統(tǒng)方便地轉移到Hadoop中，可以自定義數據類型以及元數據傳播的映射。事實上，你還可以將數據（如新的數據）導入到HDFS、Hive和Hbase中。
Apache Giraph
這是功能強大的圖形處理平臺，具有很好可擴展性和可用性。該技術已經被Facebook采用，Giraph可以運行在Hadoop環(huán)境中，可以將它直接部署到現有的Hadoop系統(tǒng)中。通過這種方式，你可以得到強大的分布式作圖能力，同時還能利用上現有的大數據處理引擎。
Cloudera Impala
Impala模型也可以部署在你現有的Hadoop群集上，監(jiān)視所有的查詢。該技術和MapReduce一樣，具有強大的批處理能力，而且Impala對于實時的SQL查詢也有很好的效果，通過高效的SQL查詢，你可以很快的了解到大數據平臺上的數據。
Gephi
它可以用來對信息進行關聯和量化處理，通過為數據創(chuàng)建功能強大的可視化效果，你可以從數據中得到不一樣的洞察力。Gephi已經支持多個圖表類型，而且可以在具有上百萬個節(jié)點的大型網絡上運行。Gephi具有活躍的用戶社區(qū)，Gephi還提供了大量的插件，可以和現有系統(tǒng)完美的集成到一起，它還可以對復雜的IT連接、分布式系統(tǒng)中各個節(jié)點、數據流等信息進行可視化分析。
MongoDB
這個堅實的平臺一直被很多組織推崇，它在大數據管理上有極好的性能。MongoDB最初是由DoubleClick公司的員工創(chuàng)建，現在該技術已經被廣泛的應用于大數據管理。MongoDB是一個應用開源技術開發(fā)的NoSQL數據庫，可以用于在JSON這樣的平臺上存儲和處理數據。目前，紐約時報、Craigslist以及眾多企業(yè)都采用了MongoDB，幫助他們管理大型數據集。（Couchbase服務器也作為一個參考）。
十大頂尖公司：
Amazon Web Services
Forrester將AWS稱為“云霸主”，談到云計算領域的大數據，那就不得不提到亞馬遜。該公司的Hadoop產品被稱為EMR（Elastic Map Reduce），AWS解釋這款產品采用了Hadoop技術來提供大數據管理服務，但它不是純開源Hadoop，經過修改后現在被專門用在AWS云上。
Forrester稱EMR有很好的市場前景。很多公司基于EMR為客戶提供服務，有一些公司將EMR應用于數據查詢、建模、集成和管理。而且AWS還在創(chuàng)新，Forrester稱未來EMR可以基于工作量的需要自動縮放調整大小。亞馬遜計劃為其產品和服務提供更強大的EMR支持，包括它的RedShift數據倉庫、新公布的Kenesis實時處理引擎以及計劃中的NoSQL數據庫和商業(yè)智能工具。不過AWS還沒有自己的Hadoop發(fā)行版。
Cloudera
Cloudera有開源Hadoop的發(fā)行版，這個發(fā)行版采用了Apache Hadoop開源項目的很多技術，不過基于這些技術的發(fā)行版也有很大的進步。Cloudera為它的Hadoop發(fā)行版開發(fā)了很多功能，包括Cloudera管理器，用于管理和監(jiān)控，以及名為Impala的SQL引擎等。Cloudera的Hadoop發(fā)行版基于開源Hadoop，但也不是純開源的產品。當Cloudera的客戶需要Hadoop不具備的某些功能時，Cloudera的工程師們就會實現這些功能，或者找一個擁有這項技術的合作伙伴。Forrester表示：“Cloudera的創(chuàng)新方法忠于核心Hadoop，但因為其可實現快速創(chuàng)新并積極滿足客戶需求，這一點使它不同于其他那些供應商?！蹦壳埃珻loudera的平臺已經擁有200多個付費客戶，一些客戶在Cloudera的技術支持下已經可以跨1000多個節(jié)點實現對PB級數據的有效管理。
Hortonworks
和Cloudera一樣，Hortonworks是一個純粹的Hadoop技術公司。與Cloudera不同的是，Hortonworks堅信開源Hadoop比任何其他供應商的Hadoop發(fā)行版都要強大。Hortonworks的目標是建立Hadoop生態(tài)圈和Hadoop用戶社區(qū)，推進開源項目的發(fā)展。Hortonworks平臺和開源Hadoop聯系緊密，公司管理人員表示這會給用戶帶來好處，因為它可以防止被供應商套牢（如果Hortonworks的客戶想要離開這個平臺，他們可以輕松轉向其他開源平臺）。這并不是說Hortonworks完全依賴開源Hadoop技術，而是因為該公司將其所有開發(fā)的成果回報給了開源社區(qū)，比如Ambari，這個工具就是由Hortonworks開發(fā)而成，用來填充集群管理項目漏洞。Hortonworks的方案已經得到了Teradata、Microsoft、Red Hat和SAP這些供應商的支持。
IBM
當企業(yè)考慮一些大的IT項目時，很多人首先會想到IBM。IBM是Hadoop項目的主要參與者之一，Forrester稱IBM已有100多個Hadoop部署，它的很多客戶都有PB級的數據。IBM在網格計算、全球數據中心和企業(yè)大數據項目實施等眾多領域有著豐富的經驗?！癐BM計劃繼續(xù)整合SPSS分析、高性能計算、BI工具、數據管理和建模、應對高性能計算的工作負載管理等眾多技術?！?/p>
Intel
和AWS類似，英特爾不斷改進和優(yōu)化Hadoop使其運行在自己的硬件上，具體來說，就是讓Hadoop運行在其至強芯片上，幫助用戶打破Hadoop系統(tǒng)的一些限制，使軟件和硬件結合的更好，英特爾的Hadoop發(fā)行版在上述方面做得比較好。Forrester指出英特爾在最近才推出這個產品，所以公司在未來還有很多改進的可能，英特爾和微軟都被認為是Hadoop市場上的潛力股。
MapR Technologies
MapR的Hadoop發(fā)行版目前為止也許是最好的了，不過很多人可能都沒有聽說過。Forrester對Hadoop用戶的調查顯示，MapR的評級最高，其發(fā)行版在架構和數據處理能力上都獲得了最高分。MapR已將一套特殊功能融入其Hadoop發(fā)行版中。例如網絡文件系統(tǒng)（NFS）、災難恢復以及高可用性功能。Forrester說MapR在Hadoop市場上沒有Cloudera和Hortonworks那樣的知名度，MapR要成為一個真正的大企業(yè)，還需要加強伙伴關系和市場營銷。
NoSQL薄弱的安全性會給企業(yè)帶來負面影響 。Imperva公司創(chuàng)始人兼CTO Amichai Shulman如是說。在新的一年中，無疑會有更多企業(yè)開始或籌劃部署NoSQL。方案落實后就會逐漸發(fā)現種種安全問題，因此早做準備才是正確的選擇。 作為傳統(tǒng)關系型數據庫的替代方案，NoSQL在查詢中并不使用SQL語言，而且允許用戶隨時變更數據屬性。此類數據庫以擴展性良好著稱，并能夠在需要大量應用程序與數據庫本身進行實時交互的交易處理任務中發(fā)揮性能優(yōu)勢，Couchbase創(chuàng)始人兼產品部門高級副總裁James Phillips解釋稱：NoSQL以交易業(yè)務為核心。它更注重實時處理能力并且擅長直接對數據進行操作，大幅度促進了交互型軟件系統(tǒng)的發(fā)展。Phillips指出。其中最大的優(yōu)勢之一是能夠隨時改變(在屬性方面)，由于結構性的弱化，修改過程非常便捷。 NoSQL最大優(yōu)勢影響其安全性 NoSQL的關鍵性特色之一是其動態(tài)的數據模型，Shulman解釋道。我可以在其運作過程中加入新的屬性記錄。因此與這種結構相匹配的安全模型必須具備一定的前瞻性規(guī)劃。也就是說，它必須能夠了解數據庫引入的新屬性將引發(fā)哪些改變，以及新加入的屬性擁有哪些權限。然而這個層面上的安全概念目前尚不存在，根本沒有這樣的解決方案。 根據Phillips的說法，某些NoSQL開發(fā)商已經開始著手研發(fā)安全機制，至少在嘗試保護數據的完整性。在關系型數據庫領域，如果我們的數據組成不正確，那么它將無法與結構并行運作，換言之數據插入操作整體將宣告失敗。目前各種驗證規(guī)則與完整性檢查已經比較完善，而事實證明這些驗證機制都能在NoSQL中發(fā)揮作用。我們與其他人所推出的解決方案類似，都會在插入一條新記錄或是文檔型規(guī)則時觸發(fā)，并在執(zhí)行過程中確保插入數據的正確性。 Shulman預計新用戶很快將在配置方面捅出大婁子，這并非因為IT工作人員的玩忽職守，實際上主要原因是NoSQL作為一項新技術導致大多數人對其缺乏足夠的知識基礎。Application Security研發(fā)部門TeamSHATTER的經理Alex Rothacker對上述觀點表示贊同。他指出，培訓的一大問題在于，大多數NoSQL的從業(yè)者往往屬于新生代IT人士，他們對于技術了解較多，但往往缺乏足夠的安全管理經驗。 如果他們從傳統(tǒng)關系型數據庫入手，那么由于強制性安全機制的完備，他們可以在使用中學習。但NoSQL，只有行家才能通過觀察得出正確結論，并在大量研究工作后找到一套完備的安全解決方案。因此可能有90%的從業(yè)者由于知識儲備、安全經驗或是工作時間的局限而無法做到這一點。 NoSQL需在安全性方面進行優(yōu)化 盡管Phillips認同新技術與舊經驗之間存在差異，但企業(yè)在推廣NoSQL時加大對安全性的關注會起到很大程度的積極作用。他認為此類數據存儲機制與傳統(tǒng)關系類數據庫相比，其中包含著的敏感類信息更少，而且與企業(yè)網絡內部其它應用程序的接觸機會也小得多。 他們并不把這項新技術完全當成數據庫使用，正如我們在收集整理大量來自其它應用程序的業(yè)務類數據時，往往也會考慮將其作為企業(yè)數據存儲機制一樣，他補充道。當然，如果我打算研發(fā)一套具備某種特定功能的社交網絡、社交游戲或是某種特殊web應用程序，也很可能會將其部署于防火墻之下。這樣一來它不僅與應用程序緊密結合，也不會被企業(yè)中的其它部門所觸及。 但Rothacker同時表示，這種過度依賴周邊安全機制的數據庫系統(tǒng)也存在著極其危險的漏洞。一旦系統(tǒng)完全依附于周邊安全模型，那么驗證機制就必須相對薄弱，而且缺乏多用戶管理及數據訪問方面的安全保護。只要擁有高權限賬戶，我們幾乎能訪問存儲機制中的一切數據。舉例來說，Brian Sullivan就在去年的黑帽大會上演示了如何在完全不清楚數據具體內容的情況下，將其信息羅列出來甚至導出。 而根據nCircle公司CTO Tim ‘TK’ Keanini的觀點，即使是與有限的應用程序相關聯，NoSQL也很有可能被暴露在互聯網上。在缺少嚴密網絡劃分的情況下，它可能成為攻擊者窺探存儲數據的薄弱環(huán)節(jié)。因為NoSQL在設計上主要用于互聯網規(guī)模的部署，所以它很可能被直接連接到互聯網中，進而面臨大量攻擊行為。 其中發(fā)生機率最高的攻擊行為就是注入式攻擊，這也是一直以來肆虐于關系類數據庫領域的頭號公敵。盡管NoSQL沒有將SQL作為查詢語言，也并不代表它能夠免受注入式攻擊的威脅。雖然不少人宣稱SQL注入在NoSQL這邊不起作用，但其中的原理是完全一致的。攻擊者需要做的只是改變自己注入內容的語法形式，Rothacker解釋稱。也就是說雖然SQL注入不會出現，但JavaScript注入或者JSON注入同樣能威脅安全。 此外，攻擊者在籌劃對這類數據庫展開侵襲時，也很可能進一步優(yōu)化自己的工具。不成熟的安全技術往往帶來這樣的窘境：需要花費大量時間學習如何保障其安全，但幾乎每個IT人士都能迅速掌握攻擊活動的組織方法。因此我認為攻擊者將會始終走在安全部署的前面，Shulman說道。遺憾的是搞破壞總比防范工作更容易，而我們已經看到不少NoSQL技術方面的公開漏洞，尤其是目前引起熱議的、以JSON注入為載體的攻擊方式。 NoSQL安全性并非其阻礙 然而，這一切都不應該成為企業(yè)使用NoSQL的阻礙，他總結道。我認為歸根結底，這應該算是企業(yè)的一種商業(yè)決策。只要這種選擇能夠帶來吸引力巨大的商業(yè)機遇，就要承擔一定風險，Shulman解釋道。但應該采取一定措施以盡量弱化這種風險。 舉例來說，鑒于數據庫對外部安全機制的依賴性，Rothacker建議企業(yè)積極考慮引入加密方案。他警告稱，企業(yè)必須對與NoSQL相對接的應用程序代碼仔細檢查。換言之，企業(yè)必須嚴格挑選負責此類項目部署的人選，確保將最好的人才用于這方面事務，Shulman表示。當大家以NoSQL為基礎編寫應用程序時，必須啟用有經驗的編程人員，因為客戶端軟件是抵擋安全問題的第一道屏障。切實為額外緩沖區(qū)的部署留出時間與預算，這能夠讓員工有閑暇反思自己的工作內容并盡量多顧及安全考量多想一點就是進步。綜上所述，這可能與部署傳統(tǒng)的關系類數據庫也沒什么不同。 具有諷刺意味的是，近年來數據庫應用程序在安全性方面的提升基本都跟數據庫本身沒什么關系，nCircle公司安全研究及開發(fā)部門總監(jiān)Oliver Lavery如是說。
重慶分公司
重慶分公司
