因為索引多。同一條個數(shù)據(jù)，NOSQL占用空間是一般SQL數(shù)據(jù)庫的3-5倍。
創(chuàng)新互聯(lián)成立與2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目網(wǎng)站建設(shè)、做網(wǎng)站網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元河南做網(wǎng)站,已為上家服務(wù),為河南各地企業(yè)和個人服務(wù),聯(lián)系電話:13518219792
你可以理解成NOSQL默認開啟全字段索引和全文索引什么的。
其實在十萬級以下的數(shù)據(jù)，只要SQL建好索引的情況并不比NOSQL慢。NOSQL主要是用于千萬上億級的時候。
NoSQL，指的是非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的
SNS類型的web2.0純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點得到了非常迅速的發(fā)展。
NoSQL(NoSQL
= Not Only SQL
)，意即“不僅僅是SQL”，是一項全新的數(shù)據(jù)庫革命性運動，早期就有人提出，發(fā)展至2009年趨勢越發(fā)高漲。NoSQL的擁護者們提倡運用非關(guān)系型的數(shù)
據(jù)存儲，相對于鋪天蓋地的關(guān)系型數(shù)據(jù)庫運用，這一概念無疑是一種全新的思維的注入。
從這一新興技術(shù)中選擇一款正確的NoSQL數(shù)據(jù)庫是非常具有挑戰(zhàn)性的。比一下網(wǎng)建議在選擇時考慮以下因素：
并發(fā)控制
并
發(fā)控制指的是當多個用戶同時更新運行時，用于保護數(shù)據(jù)庫完整性的各種技術(shù)。并發(fā)機制不正確可能導(dǎo)致臟讀、幻讀和不可重復(fù)讀等此類問題。并發(fā)控制的目的是保
證一個用戶的工作不會對另一個用戶的工作產(chǎn)生不合理的影響。在某些情況下，這些措施保證了當用戶和其他用戶一起操作時，所得的結(jié)果和她單獨操作時的結(jié)果是
一樣的。在另一些情況下，這表示用戶的工作按預(yù)定的方式受其他用戶的影響。
封鎖
就是事務(wù)T在對某個數(shù)據(jù)對象（例如表、記錄等）操作之前，先向系統(tǒng)發(fā)出請求，對其加鎖。加鎖后事務(wù)T就對該數(shù)據(jù)對象有了一定的控制，在事務(wù)T釋放它的鎖之前，其它的事務(wù)不能更新此數(shù)據(jù)對象。
封鎖是一次只允許一個用戶讀取或修改的一種機制，是實現(xiàn)并發(fā)控制的一個非常重要的技術(shù)。
MVCC
Multi-Version Concurrency Control多版本并發(fā)控制，維持一個數(shù)據(jù)的多個版本使讀寫操作沒有沖突。MVCC優(yōu)化了數(shù)據(jù)庫并發(fā)系統(tǒng)，使系統(tǒng)在有大量并發(fā)用戶時得到最高的性能，并且可以不用關(guān)閉服務(wù)器就直接進行熱備份。
ACID
指
數(shù)據(jù)庫事務(wù)正確執(zhí)行的四個基本要素的縮寫。包含：原子性(Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久
性（Durability）。一個支持事務(wù)（Transaction）的數(shù)據(jù)庫系統(tǒng)，必需要具有這四種特性，否則在事務(wù)過程（Transaction
processing）當中無法保證數(shù)據(jù)的正確性，交易過程極可能達不到交易方的要求。
None
一些系統(tǒng)不提供原子性。
鏡像
數(shù)據(jù)庫鏡像是DBMS根據(jù)DBA的要求，自動把整個數(shù)據(jù)庫或其中的關(guān)鍵數(shù)據(jù)復(fù)制到另一個磁盤上，每當主數(shù)據(jù)庫更新時，DBMS會自動把更新后的數(shù)據(jù)復(fù)制過去，即DBMS自動保證鏡像數(shù)據(jù)與主數(shù)據(jù)的一致性。
鏡像分為同步和異步。
數(shù)據(jù)存儲
指的是數(shù)據(jù)的物理特性怎樣被存儲在數(shù)據(jù)庫中。
磁盤 數(shù)據(jù)被存儲在硬盤驅(qū)動器里；
GFS或谷歌文件系統(tǒng)是一個由谷歌開發(fā)的專有的分布式文件系統(tǒng)；
Hadoop是Apache軟件框架，免費許可下支持數(shù)據(jù)密集型分布式應(yīng)用程序；
RAM隨機存儲器；
插件 可以添加外部插件；
Amazon S3通過Web服務(wù)接口提供存儲；
BDB：BDB
全稱是 “Berkeley DB”，它是MySQL具有事務(wù)能力的表類型，由Sleepycat
Software開發(fā)。BDB表類型提供了MySQL用戶長久期盼的功能，即事務(wù)控制能力。在任何RDBMS中，事務(wù)控制能力都是一種極其重要和寶貴的功
能。事務(wù)控制能力使得我們能夠確保一組命令確實已經(jīng)全部執(zhí)行成功，或者確保當任何一個命令出現(xiàn)錯誤時所有命令的執(zhí)行結(jié)果均被退回。
實現(xiàn)語言
實現(xiàn)語言會影響數(shù)據(jù)庫的發(fā)展速度。典型的NoSQL數(shù)據(jù)庫是用低級語言如C / C + +編寫的。另一方面，那些更高層次的語言如Java，使自定義更容易。
實現(xiàn)語言有：C, C++, Erlang, Java, Python
特性
考慮下列哪一個特點對你的數(shù)據(jù)庫是最重要的：
持久性
可用性
一致性
分區(qū)容忍性
證書類型
下面這些許可證是一個不同的開放源碼許可的形式：
GPL：通用公共許可證
BSD：伯克利軟件分發(fā)
MPL：Mozilla公共許可證
EPL：Eclipse公共許可證
IDPL：最初的開發(fā)者的公共許可證
LGPL：較寬松通用公共許可證
存儲類型
存儲類型是NoSQL數(shù)據(jù)庫最大的不同，是決定使用哪款數(shù)據(jù)庫的一個首要指標。
關(guān)鍵字：支持get、put和刪除操作
按列存儲：相對于傳統(tǒng)的按行存儲，數(shù)據(jù)集成容易多了
面向文件系統(tǒng)：存儲像是JSON或XML這樣的結(jié)構(gòu)化文件，很容易就能從面向?qū)ο筌浖蝎@取數(shù)據(jù)。
本質(zhì)是因為：隨著互聯(lián)網(wǎng)的進一步發(fā)展與各行業(yè)信息化建設(shè)進程加快、參與者的增多，人們對軟件有了更多更新的要求，需要軟件不僅能實現(xiàn)功能，而且要求保證許多人可以共同參與使用，因而軟件所需承載的數(shù)據(jù)量和吞吐量必須達到相應(yīng)的需求。而目前的關(guān)系型數(shù)據(jù)庫在某些方面有一些缺點，導(dǎo)致不能滿足需要。
具體則需要對比關(guān)系型數(shù)據(jù)庫與Nosql之間的區(qū)別可以得出
關(guān)系型數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫把所有的數(shù)據(jù)都通過行和列的二元表現(xiàn)形式表示出來。
關(guān)系型數(shù)據(jù)庫的優(yōu)勢：
1.?保持數(shù)據(jù)的一致性（事務(wù)處理）
2.由于以標準化為前提，數(shù)據(jù)更新的開銷很?。ㄏ嗤淖侄位旧隙贾挥幸惶帲?/p>
3.?可以進行Join等復(fù)雜查詢
其中能夠保持數(shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫的最大優(yōu)勢。
關(guān)系型數(shù)據(jù)庫的不足：
不擅長的處理
1.?大量數(shù)據(jù)的寫入處理（這點尤為重要）
2.?為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)（schema）變更
3.?字段不固定時應(yīng)用
4.?對簡單查詢需要快速返回結(jié)果的處理
--大量數(shù)據(jù)的寫入處理
讀寫集中在一個數(shù)據(jù)庫上讓數(shù)據(jù)庫不堪重負，大部分網(wǎng)站已使用主從復(fù)制技術(shù)實現(xiàn)讀寫分離，以提高讀寫性能和讀庫的可擴展性。
所以在進行大量數(shù)據(jù)操作時，會使用數(shù)據(jù)庫主從模式。數(shù)據(jù)的寫入由主數(shù)據(jù)庫負責，數(shù)據(jù)的讀入由從數(shù)據(jù)庫負責，可以比較簡單地通過增加從數(shù)據(jù)庫來實現(xiàn)規(guī)?；?，但是數(shù)據(jù)的寫入?yún)s完全沒有簡單的方法來解決規(guī)?；瘑栴}。
第一，要想將數(shù)據(jù)的寫入規(guī)?；?，可以考慮把主數(shù)據(jù)庫從一臺增加到兩臺，作為互相關(guān)聯(lián)復(fù)制的二元主數(shù)據(jù)庫使用，確實這樣可以把每臺主數(shù)據(jù)庫的負荷減少一半，但是更新處理會發(fā)生沖突，可能會造成數(shù)據(jù)的不一致，為了避免這樣的問題，需要把對每個表的請求分別分配給合適的主數(shù)據(jù)庫來處理。
第二，可以考慮把數(shù)據(jù)庫分割開來，分別放在不同的數(shù)據(jù)庫服務(wù)器上，比如將不同的表放在不同的數(shù)據(jù)庫服務(wù)器上，數(shù)據(jù)庫分割可以減少每臺數(shù)據(jù)庫服務(wù)器上的數(shù)據(jù)量，以便減少硬盤IO的輸入、輸出處理，實現(xiàn)內(nèi)存上的高速處理。但是由于分別存儲字不同服務(wù)器上的表之間無法進行Join處理，數(shù)據(jù)庫分割的時候就需要預(yù)先考慮這些問題，數(shù)據(jù)庫分割之后，如果一定要進行Join處理，就必須要在程序中進行關(guān)聯(lián)，這是非常困難的。
--為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)變更
在使用關(guān)系型數(shù)據(jù)庫時，為了加快查詢速度需要創(chuàng)建索引，為了增加必要的字段就一定要改變表結(jié)構(gòu)，為了進行這些處理，需要對表進行共享鎖定，這期間數(shù)據(jù)變更、更新、插入、刪除等都是無法進行的。如果需要進行一些耗時操作，例如為數(shù)據(jù)量比較大的表創(chuàng)建索引或是變更其表結(jié)構(gòu)，就需要特別注意，長時間內(nèi)數(shù)據(jù)可能無法進行更新。
--字段不固定時的應(yīng)用
如果字段不固定，利用關(guān)系型數(shù)據(jù)庫也是比較困難的，有人會說，需要的時候加個字段就可以了，這樣的方法也不是不可以，但在實際運用中每次都進行反復(fù)的表結(jié)構(gòu)變更是非常痛苦的。你也可以預(yù)先設(shè)定大量的預(yù)備字段，但這樣的話，時間一長很容易弄不清除字段和數(shù)據(jù)的對應(yīng)狀態(tài)，即哪個字段保存有哪些數(shù)據(jù)。
--對簡單查詢需要快速返回結(jié)果的處理? （這里的“簡單”指的是沒有復(fù)雜的查詢條件）
這一點稱不上是缺點，但不管怎樣，關(guān)系型數(shù)據(jù)庫并不擅長對簡單的查詢快速返回結(jié)果，因為關(guān)系型數(shù)據(jù)庫是使用專門的sql語言進行數(shù)據(jù)讀取的，它需要對sql與越南進行解析，同時還有對表的鎖定和解鎖等這樣的額外開銷，這里并不是說關(guān)系型數(shù)據(jù)庫的速度太慢，而只是想告訴大家若希望對簡單查詢進行高速處理，則沒有必要非使用關(guān)系型數(shù)據(jù)庫不可。
NoSQL數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫應(yīng)用廣泛，能進行事務(wù)處理和表連接等復(fù)雜查詢。相對地，NoSQL數(shù)據(jù)庫只應(yīng)用在特定領(lǐng)域，基本上不進行復(fù)雜的處理，但它恰恰彌補了之前所列舉的關(guān)系型數(shù)據(jù)庫的不足之處。
優(yōu)點：
易于數(shù)據(jù)的分散
各個數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫得名的主要原因，為了進行join處理，關(guān)系型數(shù)據(jù)庫不得不把數(shù)據(jù)存儲在同一個服務(wù)器內(nèi)，這不利于數(shù)據(jù)的分散，這也是關(guān)系型數(shù)據(jù)庫并不擅長大數(shù)據(jù)量的寫入處理的原因。相反NoSQL數(shù)據(jù)庫原本就不支持Join處理，各個數(shù)據(jù)都是獨立設(shè)計的，很容易把數(shù)據(jù)分散在多個服務(wù)器上，故減少了每個服務(wù)器上的數(shù)據(jù)量，即使要處理大量數(shù)據(jù)的寫入，也變得更加容易，數(shù)據(jù)的讀入操作當然也同樣容易。
典型的NoSQL數(shù)據(jù)庫
臨時性鍵值存儲（memcached、Redis）、永久性鍵值存儲（ROMA、Redis）、面向文檔的數(shù)據(jù)庫（MongoDB、CouchDB）、面向列的數(shù)據(jù)庫（Cassandra、HBase）
一、 鍵值存儲
它的數(shù)據(jù)是以鍵值的形式存儲的，雖然它的速度非?？?，但基本上只能通過鍵的完全一致查詢獲取數(shù)據(jù)，根據(jù)數(shù)據(jù)的保存方式可以分為臨時性、永久性和兩者兼具 三種。
（1）臨時性
所謂臨時性就是數(shù)據(jù)有可能丟失，memcached把所有數(shù)據(jù)都保存在內(nèi)存中，這樣保存和讀取的速度非?？?，但是當memcached停止時，數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中，所以無法操作超出內(nèi)存容量的數(shù)據(jù)，舊數(shù)據(jù)會丟失。總結(jié)來說：
。在內(nèi)存中保存數(shù)據(jù)
。可以進行非?？焖俚谋４婧妥x取處理
。數(shù)據(jù)有可能丟失
（2）永久性
所謂永久性就是數(shù)據(jù)不會丟失，這里的鍵值存儲是把數(shù)據(jù)保存在硬盤上，與臨時性比起來，由于必然要發(fā)生對硬盤的IO操作，所以性能上還是有差距的，但數(shù)據(jù)不會丟失是它最大的優(yōu)勢?？偨Y(jié)來說：
。在硬盤上保存數(shù)據(jù)
?？梢赃M行非?？焖俚谋４婧妥x取處理（但無法與memcached相比）
。數(shù)據(jù)不會丟失
（3） 兩者兼?zhèn)?/p>
Redis屬于這種類型。Redis有些特殊，臨時性和永久性兼具。Redis首先把數(shù)據(jù)保存在內(nèi)存中，在滿足特定條件（默認是?15分鐘一次以上，5分鐘內(nèi)10個以上，1分鐘內(nèi)10000個以上的鍵發(fā)生變更）的時候?qū)?shù)據(jù)寫入到硬盤中，這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度，又可以通過寫入硬盤來保證數(shù)據(jù)的永久性，這種類型的數(shù)據(jù)庫特別適合處理數(shù)組類型的數(shù)據(jù)。總結(jié)來說：
。同時在內(nèi)存和硬盤上保存數(shù)據(jù)
。可以進行非?？焖俚谋４婧妥x取處理
。保存在硬盤上的數(shù)據(jù)不會消失（可以恢復(fù)）
。適合于處理數(shù)組類型的數(shù)據(jù)
二、面向文檔的數(shù)據(jù)庫
MongoDB、CouchDB屬于這種類型，它們屬于NoSQL數(shù)據(jù)庫，但與鍵值存儲相異。
（1）不定義表結(jié)構(gòu)
即使不定義表結(jié)構(gòu)，也可以像定義了表結(jié)構(gòu)一樣使用，還省去了變更表結(jié)構(gòu)的麻煩。
（2）可以使用復(fù)雜的查詢條件
跟鍵值存儲不同的是，面向文檔的數(shù)據(jù)庫可以通過復(fù)雜的查詢條件來獲取數(shù)據(jù)，雖然不具備事務(wù)處理和Join這些關(guān)系型數(shù)據(jù)庫所具有的處理能力，但初次以外的其他處理基本上都能實現(xiàn)。
三、?面向列的數(shù)據(jù)庫
Cassandra、HBae、HyperTable屬于這種類型，由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長，這種類型的NoSQL數(shù)據(jù)庫尤其引入注目。
普通的關(guān)系型數(shù)據(jù)庫都是以行為單位來存儲數(shù)據(jù)的，擅長以行為單位的讀入處理，比如特定條件數(shù)據(jù)的獲取。因此，關(guān)系型數(shù)據(jù)庫也被成為面向行的數(shù)據(jù)庫。相反，面向列的數(shù)據(jù)庫是以列為單位來存儲數(shù)據(jù)的，擅長以列為單位讀入數(shù)據(jù)。
面向列的數(shù)據(jù)庫具有搞擴展性，即使數(shù)據(jù)增加也不會降低相應(yīng)的處理速度（特別是寫入速度），所以它主要應(yīng)用于需要處理大量數(shù)據(jù)的情況。另外，把它作為批處理程序的存儲器來對大量數(shù)據(jù)進行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫跟現(xiàn)行數(shù)據(jù)庫存儲的思維方式有很大不同，故應(yīng)用起來十分困難。
總結(jié)：關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并非對立而是互補的關(guān)系，即通常情況下使用關(guān)系型數(shù)據(jù)庫，在適合使用NoSQL的時候使用NoSQL數(shù)據(jù)庫，讓NoSQL數(shù)據(jù)庫對關(guān)系型數(shù)據(jù)庫的不足進行彌補。
具體來說，本文包括以下內(nèi)容:
事務(wù)
查詢性能
用戶和查詢沖突
容量
配置
NoSQL 數(shù)據(jù)庫
事務(wù)
事務(wù)可以觀察真實用戶的行為：能夠在應(yīng)用交互時捕獲實時性能。眾所周知，測量事務(wù)的性能包括獲取整個事務(wù)的響應(yīng)時間和組成事務(wù)的各個部分的響應(yīng)時間。通常我們可以用這些響應(yīng)時間與滿足事務(wù)需求的基線對比，來確定當前事務(wù)是否處于正常狀態(tài)。
如果你只想衡量應(yīng)用的某個方面，那么可以評估事務(wù)的行為。所以，盡管容器指標能夠提供更豐富的信息，并且?guī)椭銢Q定何時對當前環(huán)境進行自動測量，但你的事務(wù)就足以確定應(yīng)用性能。無需向應(yīng)用程序服務(wù)器獲取 CPU 的使用情況，你更應(yīng)該關(guān)心用戶是否完成了事務(wù)，以及該事務(wù)是否得到了優(yōu)化。
補充一個小知識點，事務(wù)是由入口點決定的，通過該入口點可以啟動事務(wù)與應(yīng)用進行交互。
一旦定義了事務(wù)，會在整個應(yīng)用生態(tài)系統(tǒng)中對其性能進行測量，并將每個事務(wù)與基線進行比對。例如，我們可能會決定當事務(wù)的響應(yīng)時間與基線相比，一旦慢于平均響應(yīng)時間的兩個標準差是否就應(yīng)該判定為異常，如圖1所示。
圖1-基于基線評估當前事務(wù)響應(yīng)時間
用于評估事務(wù)的基線與正在進行的事務(wù)活動在時間上是一致的，但事務(wù)會由每個事務(wù)執(zhí)行來完善。例如，當你選定一個基線，在當前事務(wù)結(jié)束之后，將事務(wù)與平均響應(yīng)時間按每天的小時數(shù)和每周的天數(shù)進行對比，所有在那段時間內(nèi)執(zhí)行的事務(wù)都將會被納入下周的基線中。通過這種機制，應(yīng)用程序可以隨時間而變化，而無需每次都重建原始基線；你可以將其看作是一個隨時間移動的窗口。
總之，事務(wù)最能反映用戶體驗的測量方法，所以也是衡量性能狀況最重要的指標。
查詢性能?
最容易檢測到查詢性能是否正常的指標就是查詢本身。由查詢引起的問題可能會導(dǎo)致時間太長而無法識別所需數(shù)據(jù)或返回數(shù)據(jù)。所以不妨在查詢中排查以下問題。
1. 選擇過多冗余數(shù)據(jù)
編寫查詢語句來返回適當?shù)臄?shù)據(jù)是遠遠不夠的，很可能你的查詢語句會返回太多列，從而導(dǎo)致選擇行和檢索數(shù)據(jù)變得異常緩慢。所以，最好是列出所需的列，而不是直接用 SELECT*。當需要在特定字段中查詢時，該計劃可能會確定一個覆蓋索引從而加快結(jié)果返回。覆蓋索引通常會包含查詢中使用的所有字段。這意味著數(shù)據(jù)庫可以僅從索引中產(chǎn)生結(jié)果，而不需要通過底層表來構(gòu)建。
另外，列出結(jié)果中所需的列不僅可以減少傳輸?shù)臄?shù)據(jù)，還能進一步提高性能。
2. 表之間的低效聯(lián)接
聯(lián)接會導(dǎo)致數(shù)據(jù)庫將多組數(shù)據(jù)帶到內(nèi)存中進行比較，這會產(chǎn)生多個數(shù)據(jù)庫讀取和大量 CPU。根據(jù)表的索引，聯(lián)接還可能需要掃描兩個表的所有行。如果寫不好兩個大型表之間的聯(lián)接，就需要對每個表進行完整掃描，這樣的計算量將會非常大。其他會拖慢聯(lián)接的因素包括聯(lián)接列之間存在不同的數(shù)據(jù)類型、需要轉(zhuǎn)換或加入包含 LIKE 的條件，這樣就會阻止使用索引。另外，還需注意避免使用全外聯(lián)接；在恰當?shù)臅r候使用內(nèi)部聯(lián)接只返回所需數(shù)據(jù)。
3. 索引過多或過少
如果查詢優(yōu)化沒有可用的索引時，數(shù)據(jù)庫會重新掃描表來產(chǎn)生查詢結(jié)果，這個過程會生成大量的磁盤輸入/輸出（I/O）。適當?shù)乃饕梢詼p少排序結(jié)果的需要。雖然非唯一值的索引在生成結(jié)果時，不能像唯一索引那樣方便。如果鍵越大，索引也會變大，并通過它們創(chuàng)建更多的磁盤 I/O。大多數(shù)索引是為了提高數(shù)據(jù)檢索的性能，但也需要明白索引本身也會影響數(shù)據(jù)的插入和更新，因為所有相關(guān)聯(lián)的指標都必須更新。
4. 太多的SQL導(dǎo)致爭用解析資源
任何 SQL 查詢在執(zhí)行之前都必須被解析，在生成執(zhí)行計劃之前需要對語法和權(quán)限進行檢查。由于解析非常耗時，數(shù)據(jù)庫會保存已解析的 SQL 來重復(fù)利用，從而減少解析的耗時。因為 WHERE 語句不同，所以使用文本值的查詢語句不能被共享。這將導(dǎo)致每個查詢都會被解析并添加到共享池中，由于池的空間有限，一些已保存的查詢會被舍棄。當這些查詢再次出現(xiàn)時，則需要重新解析。
用戶和查詢沖突?
數(shù)據(jù)庫支持多用戶，但多用戶活動也可能造成沖突。
1. 由慢查詢導(dǎo)致的頁/行鎖定
為了確保查詢產(chǎn)生精確的結(jié)果，數(shù)據(jù)庫必須鎖定表以防止在運行讀取查詢時再發(fā)生其他的插入和更新行為。如果報告或查詢相當緩慢，需要修改值的用戶可能需要等待至更新完成。鎖提示能幫助數(shù)據(jù)庫使用最小破壞性的鎖。從事務(wù)數(shù)據(jù)庫中分離報表也是一種可靠的解決方法。
2. 事務(wù)鎖和死鎖
當兩個事務(wù)被阻塞時會出現(xiàn)死鎖，因為每一個都需要使用被另一個占用的資源。當出現(xiàn)一個普通鎖時，事務(wù)會被阻塞直到資源被釋放。但卻沒有解決死鎖的方案。數(shù)據(jù)庫會監(jiān)控死鎖并選擇終止其中一個事務(wù)，釋放資源并允許該事務(wù)繼續(xù)進行，而另一個事務(wù)則回滾。
3. 批處理操作造成資源爭奪
批處理過程通常會執(zhí)行批量操作，如大量的數(shù)據(jù)加載或生成復(fù)雜的分析報告。這些操作是資源密集型的，但可能影響在線用戶的訪問應(yīng)用的性能。針對此問題最好的解決辦法是確保批處理在系統(tǒng)使用率較低時運行，比如晚上，或用單獨的數(shù)據(jù)庫進行事務(wù)處理和分析報告。
容量?
并不是所有的數(shù)據(jù)庫性能問題都是數(shù)據(jù)庫問題。有些問題也是硬件不合適造成的。
1. CPU 不足或 CPU 速度太慢
更多 CPU 可以分擔服務(wù)器負載，進一步提高性能。數(shù)據(jù)庫的性能不僅是數(shù)據(jù)庫的原因，還受到服務(wù)器上運行其他進程的影響。因此，對數(shù)據(jù)庫負載及使用進行審查也是必不可少的。由于 CPU 的利用率時時在變，在低使用率、平均使用率和峰值使用率的時間段分別檢查該指標可以更好地評估增加額外的 CPU 資源是否有益。
2. IOPS 不足的慢磁盤
磁盤性能通常以每秒輸入/輸出操作（IOPS）來計。結(jié)合 I/O 大小，該指標可以衡量每秒的磁盤吞吐量是多少兆。同時，吞吐量也受磁盤的延遲影響，比如需要多久才能完成請求，這些指標主要是針對磁盤存儲技術(shù)而言。傳統(tǒng)的硬盤驅(qū)動器（HDD）有一個旋轉(zhuǎn)磁盤，通常比固態(tài)硬盤（SSD）或閃存更慢。直到近期，SSD 雖然仍比 HDD 貴，但成本已經(jīng)降了下來，所以在市場上也更具競爭力。
3. 全部或錯誤配置的磁盤
眾所周知，數(shù)據(jù)庫會被大量磁盤訪問，所以不正確配置的磁盤可能帶來嚴重的性能缺陷。磁盤應(yīng)該適當分區(qū)，將系統(tǒng)數(shù)據(jù)目錄和用戶數(shù)據(jù)日志分開。高度活躍的表應(yīng)該區(qū)分以避免爭用，通過在不同磁盤上存放數(shù)據(jù)庫和索引增加并行放置，但不要將操作系統(tǒng)和數(shù)據(jù)庫交換空間放置在同一磁盤上。
4. 內(nèi)存不足
有限或不恰當?shù)奈锢韮?nèi)存分配會影響數(shù)據(jù)庫性能。通常我們認為可用的內(nèi)存更多，性能就越好。監(jiān)控分頁和交換,在多個非繁忙磁盤中建立多頁面空間，進一步確保分頁空間分配足夠滿足數(shù)據(jù)庫要求；每個數(shù)據(jù)庫供應(yīng)商也可以在這個問題上提供指導(dǎo)。
5. 網(wǎng)速慢
網(wǎng)絡(luò)速度會影響到如何快速檢索數(shù)據(jù)并返回給終端用戶或調(diào)用過程。使用寬帶連接到遠程數(shù)據(jù)庫。在某些情況下，選擇 TCP/IP 協(xié)議而不是命名管道可顯著提高數(shù)據(jù)庫性能。
配置
每個數(shù)據(jù)庫都需設(shè)置大量的配置項。通常情況下，默認值可能不足以滿足數(shù)據(jù)庫所需的性能。所以，檢查所有的參數(shù)設(shè)置，包括以下問題。
1. 緩沖區(qū)緩存太小
通過將數(shù)據(jù)存儲在內(nèi)核內(nèi)存，緩沖區(qū)緩存可以進一步提高性能同時減少磁盤 I/O。當緩存太小時，緩存中的數(shù)據(jù)會更頻繁地刷新。如果它再次被請求，就必須從磁盤重讀。除了磁盤讀取緩慢之外，還給 I/O 設(shè)備增添了負擔從而成為瓶頸。除了給緩沖區(qū)緩存分配足夠的空間，調(diào)優(yōu) SQL 查詢可以幫助其更有效地利用緩沖區(qū)緩存。
2. 沒有查詢緩存
查詢緩存會存儲數(shù)據(jù)庫查詢和結(jié)果集。當執(zhí)行相同的查詢時，數(shù)據(jù)會在緩存中被迅速檢索，而不需要再次執(zhí)行查詢。數(shù)據(jù)會更新失效結(jié)果，所以查詢緩存是唯一有效的靜態(tài)數(shù)據(jù)。但在某些情況下，查詢緩存卻可能成為性能瓶頸。比如當鎖定為更新時，巨大的緩存可能導(dǎo)致爭用沖突。
3. 磁盤上臨時表創(chuàng)建導(dǎo)致的 I/O 爭用
在執(zhí)行特定的查詢操作時，數(shù)據(jù)庫需要創(chuàng)建臨時表，如執(zhí)行一個 GROUP BY 子句。如果可能，在內(nèi)存中創(chuàng)建臨時表。但是，在某些情況下，在內(nèi)存中創(chuàng)建臨時表并不可行，比如當數(shù)據(jù)包含 BLOB 或 TEXT 對象時。在這些情況下，會在磁盤上創(chuàng)建臨時表。大量的磁盤 I / O 都需要創(chuàng)建臨時表、填充記錄、從表中選擇所需數(shù)據(jù)并在查詢完成后舍棄。為了避免影響性能，臨時數(shù)據(jù)庫應(yīng)該從主數(shù)據(jù)庫中分離出來。重寫查詢還可以通過創(chuàng)建派生表來減少對臨時表的需求。使用派生表直接從另一個 SELECT 語句的結(jié)果中選擇，允許將數(shù)據(jù)加到內(nèi)存中而不是當前磁盤上。
NoSQL 數(shù)據(jù)庫
NoSQL 的優(yōu)勢在于它處理大數(shù)據(jù)的能力非常迅速。但是在實際使用中，也應(yīng)該綜合參考 NoSQL 的缺點，從而決定是否適合你的用例場景。這就是為什么NoSQL通常被理解為 「不僅僅是 SQL」，說明了 NoSQL 并不總是正確的解決方案，也沒必要完全取代 SQL，以下分別列舉出五大主要原因。
1. 挑剔事務(wù)
難以保持 NoSQL 條目的一致性。當訪問結(jié)構(gòu)化數(shù)據(jù)時，它并不能完全確保同一時間對不同表的更改都生效。如果某個過程發(fā)生崩潰，表可能會不一致。一致事務(wù)的典型代表是復(fù)式記賬法。相應(yīng)的信貸必須平衡每個借方，反之亦然。如果雙方數(shù)據(jù)不一致則不能輸入。NoSQL 則可能無法保證「收支平衡」。
2. 復(fù)雜數(shù)據(jù)庫
NoSQL 的支持者往往以高效代碼、簡單性和 NoSQL 的速度為傲。當數(shù)據(jù)庫任務(wù)很簡單時，所有這些因素都是優(yōu)勢。但當數(shù)據(jù)庫變得復(fù)雜，NoSQL 會開始分解。此時，SQL 則比 NoSQL 更好地處理復(fù)雜需求，因為 SQL 已經(jīng)成熟，有符合行業(yè)標準的接口。而每個 NoSQL 設(shè)置都有一個唯一的接口。
3. 一致聯(lián)接
當執(zhí)行 SQL 的聯(lián)接時，由于系統(tǒng)必須從不同的表中提取數(shù)據(jù)進行鍵對齊，所以有一個巨大的開銷。而 NoSQL 似乎是一個空想，因為缺乏聯(lián)接功能。所有的數(shù)據(jù)都在同一個表的一個地方。當檢索數(shù)據(jù)時，它會同時提取所有的鍵值對。問題在于這會創(chuàng)建同一數(shù)據(jù)的多個副本。這些副本也必須更新，而這種情況下，NoSQL 沒有功能來確保更新。
4. Schema設(shè)計的靈活性
由于 NoSQL 不需要 schema，所以在某些情況下也是獨一無二的。在以前的數(shù)據(jù)庫模型中，程序員必須考慮所有需要的列能夠擴展，能夠適應(yīng)每行的數(shù)據(jù)條目。在 NoSQL 下，條目可以有多種字符串或者完全沒有。這種靈活性允許程序員迅速增加數(shù)據(jù)。但是，也可能存在問題，比如當有多個團體在同一項目上工作時，或者新的開發(fā)團隊接手一個項目時。開發(fā)人員能夠自由地修改數(shù)據(jù)庫，也可能會不斷實現(xiàn)各種各樣的密鑰對。
5. 資源密集型
NoSQL 數(shù)據(jù)庫通常比關(guān)系數(shù)據(jù)庫更加資源密集。他們需要更多的 CPU 儲備和 RAM 分配。出于這個原因，大多數(shù)共享主機公司都不提供 NoSQL。你必須注冊一個 VPS 或運行自己的專用服務(wù)器。另一方面，SQL 主要是在服務(wù)器上運行。初期的工作都很順利，但隨著數(shù)據(jù)庫需求的增加，硬件必須擴大。單個大型服務(wù)器比多個小型服務(wù)器昂貴得多，價格呈指數(shù)增長。所以在這種企業(yè)計算場景下，使用 NoSQL 更為劃算，例如那些由谷歌和 Facebook 使用的服務(wù)器。
2. 什么是NoSQL？
2.1 NoSQL 概述
NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，
泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題，包括超大規(guī)模數(shù)據(jù)的存儲。
（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數(shù)據(jù)）。這些類型的數(shù)據(jù)存儲不需要固定的模式，無需多余操作就可以橫向擴展。
2.2 NoSQL代表
MongDB、 Redis、Memcache
3. 關(guān)系型數(shù)據(jù)庫與NoSQL的區(qū)別？
3.1 RDBMS
高度組織化結(jié)構(gòu)化數(shù)據(jù)
結(jié)構(gòu)化查詢語言（SQL）
數(shù)據(jù)和關(guān)系都存儲在單獨的表中。
數(shù)據(jù)操縱語言，數(shù)據(jù)定義語言
嚴格的一致性
基礎(chǔ)事務(wù)
ACID
關(guān)系型數(shù)據(jù)庫遵循ACID規(guī)則
事務(wù)在英文中是transaction，和現(xiàn)實世界中的交易很類似，它有如下四個特性：
A (Atomicity) 原子性
原子性很容易理解，也就是說事務(wù)里的所有操作要么全部做完，要么都不做，事務(wù)成功的條件是事務(wù)里的所有操作都成功，只要有一個操作失敗，整個事務(wù)就失敗，需要回滾。比如銀行轉(zhuǎn)賬，從A賬戶轉(zhuǎn)100元至B賬戶，分為兩個步驟：1）從A賬戶取100元；2）存入100元至B賬戶。這兩步要么一起完成，要么一起不完成，如果只完成第一步，第二步失敗，錢會莫名其妙少了100元。
C (Consistency) 一致性
一致性也比較容易理解，也就是說數(shù)據(jù)庫要一直處于一致的狀態(tài)，事務(wù)的運行不會改變數(shù)據(jù)庫原本的一致性約束。
I (Isolation) 獨立性
所謂的獨立性是指并發(fā)的事務(wù)之間不會互相影響，如果一個事務(wù)要訪問的數(shù)據(jù)正在被另外一個事務(wù)修改，只要另外一個事務(wù)未提交，它所訪問的數(shù)據(jù)就不受未提交事務(wù)的影響。比如現(xiàn)有有個交易是從A賬戶轉(zhuǎn)100元至B賬戶，在這個交易還未完成的情況下，如果此時B查詢自己的賬戶，是看不到新增加的100元的
D (Durability) 持久性
持久性是指一旦事務(wù)提交后，它所做的修改將會永久的保存在數(shù)據(jù)庫上，即使出現(xiàn)宕機也不會丟失。
3.2 NoSQL
代表著不僅僅是SQL
沒有聲明性查詢語言
沒有預(yù)定義的模式
鍵 - 值對存儲，列存儲，文檔存儲，圖形數(shù)據(jù)庫
最終一致性，而非ACID屬性
非結(jié)構(gòu)化和不可預(yù)知的數(shù)據(jù)
CAP定理
高性能，高可用性和可伸縮性
分布式數(shù)據(jù)庫中的CAP原理(了解)
CAP定理：
Consistency(一致性), 數(shù)據(jù)一致更新，所有數(shù)據(jù)變動都是同步的
Availability(可用性), 好的響應(yīng)性能
Partition tolerance(分區(qū)容錯性) 可靠性
P: 系統(tǒng)中任意信息的丟失或失敗不會影響系統(tǒng)的繼續(xù)運作。
定理：任何分布式系統(tǒng)只可同時滿足二點，沒法三者兼顧。
CAP理論的核心是：一個分布式系統(tǒng)不可能同時很好的滿足一致性，可用性和分區(qū)容錯性這三個需求，
因此，根據(jù) CAP 原理將 NoSQL 數(shù)據(jù)庫分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類：
CA - 單點集群，滿足一致性，可用性的系統(tǒng)，通常在可擴展性上不太強大。
CP - 滿足一致性，分區(qū)容忍性的系統(tǒng)，通常性能不是特別高。
AP - 滿足可用性，分區(qū)容忍性的系統(tǒng)，通?？赡軐σ恢滦砸蟮鸵恍?。
CAP理論就是說在分布式存儲系統(tǒng)中，最多只能實現(xiàn)上面的兩點。
而由于當前的網(wǎng)絡(luò)硬件肯定會出現(xiàn)延遲丟包等問題，所以分區(qū)容忍性是我們必須需要實現(xiàn)的。
所以我們只能在一致性和可用性之間進行權(quán)衡，沒有NoSQL系統(tǒng)能同時保證這三點。
說明：C：強一致性 A：高可用性 P：分布式容忍性
舉例：
CA：傳統(tǒng)Oracle數(shù)據(jù)庫
AP：大多數(shù)網(wǎng)站架構(gòu)的選擇
CP：Redis、Mongodb
注意：分布式架構(gòu)的時候必須做出取舍。
一致性和可用性之間取一個平衡。多余大多數(shù)web應(yīng)用，其實并不需要強一致性。
因此犧牲C換取P，這是目前分布式數(shù)據(jù)庫產(chǎn)品的方向。
4. 當下NoSQL的經(jīng)典應(yīng)用
當下的應(yīng)用是 SQL 與 NoSQL 一起使用的。
代表項目：阿里巴巴商品信息的存放。
去 IOE 化。
ps：I 是指 IBM 的小型機，很貴的，好像好幾萬一臺；O 是指 Oracle 數(shù)據(jù)庫，也很貴的，好幾萬呢；M 是指 EMC 的存儲設(shè)備，也很貴的。
難點：
數(shù)據(jù)類型多樣性。
數(shù)據(jù)源多樣性和變化重構(gòu)。
數(shù)據(jù)源改造而服務(wù)平臺不需要大面積重構(gòu)。
在大數(shù)據(jù)時代，“多種架構(gòu)支持多類應(yīng)用”成為數(shù)據(jù)庫行業(yè)應(yīng)對大數(shù)據(jù)的基本思路，數(shù)據(jù)庫行業(yè)出現(xiàn)互為補充的三大陣營，適用于事務(wù)處理應(yīng)用的OldSQL、適用于數(shù)據(jù)分析應(yīng)用的NewSQL和適用于互聯(lián)網(wǎng)應(yīng)用的NoSQL。但在一些復(fù)雜的應(yīng)用場景中，單一數(shù)據(jù)庫架構(gòu)都不能完全滿足應(yīng)用場景對海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲管理、復(fù)雜分析、關(guān)聯(lián)查詢、實時性處理和控制建設(shè)成本等多方面的需要，因此不同架構(gòu)數(shù)據(jù)庫混合部署應(yīng)用成為滿足復(fù)雜應(yīng)用的必然選擇。不同架構(gòu)數(shù)據(jù)庫混合使用的模式可以概括為：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過三個案例對不同架構(gòu)數(shù)據(jù)庫的混合應(yīng)用部署進行介紹。
OldSQL+NewSQL 在數(shù)據(jù)中心類應(yīng)用中混合部署
采用OldSQL+NewSQL模式構(gòu)建數(shù)據(jù)中心，在充分發(fā)揮OldSQL數(shù)據(jù)庫的事務(wù)處理能力的同時，借助NewSQL在實時性、復(fù)雜分析、即席查詢等方面的獨特優(yōu)勢，以及面對海量數(shù)據(jù)時較強的擴展能力，滿足數(shù)據(jù)中心對當前“熱”數(shù)據(jù)事務(wù)型處理和海量歷史“冷”數(shù)據(jù)分析兩方面的需求。OldSQL+NewSQL模式在數(shù)據(jù)中心類應(yīng)用中的互補作用體現(xiàn)在，OldSQL彌補了NewSQL不適合事務(wù)處理的不足，NewSQL彌補了OldSQL在海量數(shù)據(jù)存儲能力和處理性能方面的缺陷。
商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL數(shù)據(jù)庫滿足各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸檔備份和事務(wù)型應(yīng)用，NewSQL MPP數(shù)據(jù)庫集群對即席查詢、多維分析等應(yīng)用提供高性能支持，并且通過MPP集群架構(gòu)實現(xiàn)應(yīng)對海量數(shù)據(jù)存儲的擴展能力。
商業(yè)銀行數(shù)據(jù)中心存儲架構(gòu)
與傳統(tǒng)的OldSQL模式相比，商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合搭建模式，數(shù)據(jù)加載性能提升3倍以上，即席查詢和統(tǒng)計分析性能提升6倍以上。NewSQL MPP的高可擴展性能夠應(yīng)對新的業(yè)務(wù)需求，可隨著數(shù)據(jù)量的增長采用集群方式構(gòu)建存儲容量更大的數(shù)據(jù)中心。
OldSQL+NoSQL 在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中混合部署
在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中采用OldSQL+NoSQL混合模式，能夠很好的解決互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用對海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行存儲和快速處理的需求。在諸如大型電子商務(wù)平臺、大型SNS平臺等互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用場景中，OldSQL在應(yīng)用中負責高價值密度結(jié)構(gòu)化數(shù)據(jù)的存儲和事務(wù)型處理，NoSQL在應(yīng)用中負責存儲和處理海量非結(jié)構(gòu)化的數(shù)據(jù)和低價值密度結(jié)構(gòu)化數(shù)據(jù)。OldSQL+NoSQL模式在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中的互補作用體現(xiàn)在，OldSQL彌補了NoSQL在ACID特性和復(fù)雜關(guān)聯(lián)運算方面的不足，NoSQL彌補了OldSQL在海量數(shù)據(jù)存儲和非結(jié)構(gòu)化數(shù)據(jù)處理方面的缺陷。
數(shù)據(jù)魔方是淘寶網(wǎng)的一款數(shù)據(jù)產(chǎn)品，主要提供行業(yè)數(shù)據(jù)分析、店鋪數(shù)據(jù)分析。淘寶數(shù)據(jù)產(chǎn)品在存儲層采用OldSQL+NoSQL混合模式，由基于MySQL的分布式關(guān)系型數(shù)據(jù)庫集群MyFOX和基于HBase的NoSQL存儲集群Prom組成。由于OldSQL強大的語義和關(guān)系表達能力，在應(yīng)用中仍然占據(jù)著重要地位，目前存儲在MyFOX中的統(tǒng)計結(jié)果數(shù)據(jù)已經(jīng)達到10TB，占據(jù)著數(shù)據(jù)魔方總數(shù)據(jù)量的95%以上。另一方面，NoSQL作為SQL的有益補充，解決了OldSQL數(shù)據(jù)庫無法解決的全屬性選擇器等問題。
淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)
基于OldSQL+NoSQL混合架構(gòu)的特點，數(shù)據(jù)魔方目前已經(jīng)能夠提供壓縮前80TB的數(shù)據(jù)存儲空間，支持每天4000萬的查詢請求，平均響應(yīng)時間在28毫秒，足以滿足未來一段時間內(nèi)的業(yè)務(wù)增長需求。
NewSQL+NoSQL 在行業(yè)大數(shù)據(jù)應(yīng)用中混合部署
行業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)的區(qū)別在于行業(yè)大數(shù)據(jù)的價值密度更高，并且對結(jié)構(gòu)化數(shù)據(jù)的實時處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強一致性等都比互聯(lián)網(wǎng)大數(shù)據(jù)有更高的要求。行業(yè)大數(shù)據(jù)應(yīng)用場景主要是分析類應(yīng)用，如：電信、金融、政務(wù)、能源等行業(yè)的決策輔助、預(yù)測預(yù)警、統(tǒng)計分析、經(jīng)營分析等。
在行業(yè)大數(shù)據(jù)應(yīng)用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在結(jié)構(gòu)化數(shù)據(jù)分析處理方面的優(yōu)勢，以及NoSQL在非結(jié)構(gòu)數(shù)據(jù)處理方面的優(yōu)勢，實現(xiàn)NewSQL與NoSQL的功能互補，解決行業(yè)大數(shù)據(jù)應(yīng)用對高價值結(jié)構(gòu)化數(shù)據(jù)的實時處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強一致性等要求，以及對海量非結(jié)構(gòu)化數(shù)據(jù)存儲和精確查詢的要求。在應(yīng)用中，NewSQL承擔高價值密度結(jié)構(gòu)化數(shù)據(jù)的存儲和分析處理工作，NoSQL承擔存儲和處理海量非結(jié)構(gòu)化數(shù)據(jù)和不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的低價值密度結(jié)構(gòu)化數(shù)據(jù)的工作。
當前電信運營商在集中化BI系統(tǒng)建設(shè)過程中面臨著數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理類型多等問題，并且需要應(yīng)對大量的固定應(yīng)用，以及占統(tǒng)計總數(shù)80%以上的突發(fā)性臨時統(tǒng)計(ad-hoc)需求。在集中化BI系統(tǒng)的建設(shè)中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在復(fù)雜分析、即席查詢等方面處理性能的優(yōu)勢，及NoSQL在非結(jié)構(gòu)化數(shù)據(jù)處理和海量數(shù)據(jù)存儲方面的優(yōu)勢，實現(xiàn)高效低成本。
集中化BI系統(tǒng)數(shù)據(jù)存儲架構(gòu)
集中化BI系統(tǒng)按照數(shù)據(jù)類型和處理方式的不同，將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別存儲在不同的系統(tǒng)中：非結(jié)構(gòu)化數(shù)據(jù)在Hadoop平臺上存儲與處理;結(jié)構(gòu)化、不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的數(shù)據(jù)保存在NoSQL數(shù)據(jù)庫或Hadoop平臺;結(jié)構(gòu)化、需要關(guān)聯(lián)分析或經(jīng)常ad-hoc查詢的數(shù)據(jù)，保存在NewSQL MPP數(shù)據(jù)庫中，短期高價值數(shù)據(jù)放在高性能平臺，中長期放在低成本產(chǎn)品中。
結(jié)語
當前信息化應(yīng)用的多樣性、復(fù)雜性，以及三種數(shù)據(jù)庫架構(gòu)各自所具有的優(yōu)勢和局限性，造成任何一種架構(gòu)的數(shù)據(jù)庫都不能完全滿足應(yīng)用需求，因此不同架構(gòu)數(shù)據(jù)庫混合使用，從而彌補其他架構(gòu)的不足成為必然選擇。根據(jù)應(yīng)用場景采用不同架構(gòu)數(shù)據(jù)庫進行組合搭配，充分發(fā)揮每種架構(gòu)數(shù)據(jù)庫的特點和優(yōu)勢，并且與其他架構(gòu)數(shù)據(jù)庫形成互補，完全涵蓋應(yīng)用需求，保證數(shù)據(jù)資源的最優(yōu)化利用，將成為未來一段時期內(nèi)信息化應(yīng)用主要采用的解決方式。
目前在國內(nèi)市場上，OldSQL主要為Oracle、IBM等國外數(shù)據(jù)庫廠商所壟斷，達夢、金倉等國產(chǎn)廠商仍處于追趕狀態(tài);南大通用憑借國產(chǎn)新型數(shù)據(jù)庫GBase 8a異軍突起，與EMC的Greenplum和HP的Vertica躋身NewSQL市場三強;NoSQL方面用戶則大多采用Hadoop開源方案。
重慶分公司
重慶分公司
