100億文檔），總共10個數(shù)據(jù)節(jié)點(diǎn)和2個元數(shù)據(jù)節(jié)點(diǎn)（48GB內(nèi)存，8核心CPU，ES使用內(nèi)存達(dá)到70%），每天的文檔增量大概是3000W條（速度
創(chuàng)新互聯(lián)建站是一家專注于成都網(wǎng)站制作、網(wǎng)站建設(shè)與策劃設(shè)計,昌圖網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:昌圖等地區(qū)。昌圖做網(wǎng)站價格咨詢:18982081108
持續(xù)增加中）。目前來看，單個文檔的查詢效率基本處于實時狀態(tài)；對于1到2周的數(shù)據(jù)的聚合統(tǒng)計操作也可以在10秒之內(nèi)返回結(jié)果。
但是，還有提升的空間：
1. 對于查詢單條數(shù)據(jù)的應(yīng)用場景來說，我們可以使用ES的路由機(jī)制，將同一索引內(nèi)的具有相同特征（比如具有相同的userid）的文檔全部存儲于一個節(jié)點(diǎn)上，這樣我們之后的查詢都可以直接定位到這個節(jié)點(diǎn)上，而不用將查詢廣播道所有的節(jié)點(diǎn)上；
2. 隨著數(shù)據(jù)節(jié)點(diǎn)的增加，適當(dāng)增加分片數(shù)量，提升系統(tǒng)的分布水平，也可以通過分而治之的方式優(yōu)化查詢性能；
個人以為Elasticsearch作為內(nèi)部存儲來說還是不錯的，效率也基本能夠滿足，在某些方面替代傳統(tǒng)DB也是可以的，前提是你的業(yè)務(wù)不對操作的事
性務(wù)有特殊要求；而權(quán)限管理也不用那么細(xì)，因為ES的權(quán)限這塊還不完善。由于我們對ES的應(yīng)用場景僅僅是在于對某段時間內(nèi)的數(shù)據(jù)聚合操作，沒有大量的單文
檔請求（比如通過userid來找到一個用戶的文檔，類似于NoSQL的應(yīng)用場景），所以能否替代NoSQL還需要各位自己的測試。如果讓我選擇的話，我
會嘗試使用ES來替代傳統(tǒng)的NoSQL，因為它的橫向擴(kuò)展機(jī)制太方便了。
什么是NoSQL
大家有沒有聽說過“NoSQL”呢?近年，這個詞極受關(guān)注?？吹健癗oSQL”這個詞，大家可能會誤以為是“No!SQL”的縮寫，并深感憤怒：“SQL怎么會沒有必要了呢?”但實際上，它是“Not Only SQL”的縮寫。它的意義是：適用關(guān)系型數(shù)據(jù)庫的時候就使用關(guān)系型數(shù)據(jù)庫，不適用的時候也沒有必要非使用關(guān)系型數(shù)據(jù)庫不可，可以考慮使用更加合適的數(shù)據(jù)存儲。
為彌補(bǔ)關(guān)系型數(shù)據(jù)庫的不足，各種各樣的NoSQL數(shù)據(jù)庫應(yīng)運(yùn)而生。
為了更好地了解本書所介紹的NoSQL數(shù)據(jù)庫，對關(guān)系型數(shù)據(jù)庫的理解是必不可少的。那么，就讓我們先來看一看關(guān)系型數(shù)據(jù)庫的歷史、分類和特征吧。
關(guān)系型數(shù)據(jù)庫簡史
1969年，埃德加?6?1弗蘭克?6?1科德(Edgar Frank Codd)發(fā)表了劃時代的論文，首次提出了關(guān)系數(shù)據(jù)模型的概念。但可惜的是，刊登論文的《IBM Research Report》只是IBM公司的內(nèi)部刊物，因此論文反響平平。1970年，他再次在刊物《Communication of the ACM》上發(fā)表了題為“A Relational Model of Data for Large Shared Data banks”(大型共享數(shù)據(jù)庫的關(guān)系模型)的論文，終于引起了大家的關(guān)注。
科德所提出的關(guān)系數(shù)據(jù)模型的概念成為了現(xiàn)今關(guān)系型數(shù)據(jù)庫的基礎(chǔ)。當(dāng)時的關(guān)系型數(shù)據(jù)庫由于硬件性能低劣、處理速度過慢而遲遲沒有得到實際應(yīng)用。但之后隨著硬件性能的提升，加之使用簡單、性能優(yōu)越等優(yōu)點(diǎn)，關(guān)系型數(shù)據(jù)庫得到了廣泛的應(yīng)用。
通用性及高性能
雖然本書是講解NoSQL數(shù)據(jù)庫的，但有一個重要的大前提，請大家一定不要誤解。這個大前提就是“關(guān)系型數(shù)據(jù)庫的性能絕對不低，它具有非常好的通用性和非常高的性能”。毫無疑問，對于絕大多數(shù)的應(yīng)用來說它都是最有效的解決方案。
突出的優(yōu)勢
關(guān)系型數(shù)據(jù)庫作為應(yīng)用廣泛的通用型數(shù)據(jù)庫，它的突出優(yōu)勢主要有以下幾點(diǎn):
保持?jǐn)?shù)據(jù)的一致性(事務(wù)處理)
由于以標(biāo)準(zhǔn)化為前提，數(shù)據(jù)更新的開銷很小(相同的字段基本上都只有一處)
可以進(jìn)行JOIN等復(fù)雜查詢
存在很多實際成果和專業(yè)技術(shù)信息(成熟的技術(shù))
這其中，能夠保持?jǐn)?shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫的最大優(yōu)勢。在需要嚴(yán)格保證數(shù)據(jù)一致性和處理完整性的情況下，用關(guān)系型數(shù)據(jù)庫是肯定沒有錯的。但是有些情況不需要JOIN，對上述關(guān)系型數(shù)據(jù)庫的優(yōu)點(diǎn)也沒有什么特別需要，這時似乎也就沒有必要拘泥于關(guān)系型數(shù)據(jù)庫了。
關(guān)系型數(shù)據(jù)庫的不足
不擅長的處理
就像之前提到的那樣，關(guān)系型數(shù)據(jù)庫的性能非常高。但是它畢竟是一個通用型的數(shù)據(jù)庫，并不能完全適應(yīng)所有的用途。具體來說它并不擅長以下處理：
大量數(shù)據(jù)的寫入處理
為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)(schema)變更
字段不固定時應(yīng)用
對簡單查詢需要快速返回結(jié)果的處理
。。。。。。
NoSQL數(shù)據(jù)庫
為了彌補(bǔ)關(guān)系型數(shù)據(jù)庫的不足(特別是最近幾年)，NoSQL數(shù)據(jù)庫出現(xiàn)了。關(guān)系型數(shù)據(jù)庫應(yīng)用廣泛，能進(jìn)行事務(wù)處理和JOIN等復(fù)雜處理。相對地，NoSQL數(shù)據(jù)庫只應(yīng)用在特定領(lǐng)域，基本上不進(jìn)行復(fù)雜的處理，但它恰恰彌補(bǔ)了之前所列舉的關(guān)系型數(shù)據(jù)庫的不足之處。
易于數(shù)據(jù)的分散
如前所述，關(guān)系型數(shù)據(jù)庫并不擅長大量數(shù)據(jù)的寫入處理。原本關(guān)系型數(shù)據(jù)庫就是以JOIN為前提的，就是說，各個數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫得名的主要原因。為了進(jìn)行JOIN處理，關(guān)系型數(shù)據(jù)庫不得不把數(shù)據(jù)存儲在同一個服務(wù)器內(nèi)，這不利于數(shù)據(jù)的分散。相反，NoSQL數(shù)據(jù)庫原本就不支持JOIN處理，各個數(shù)據(jù)都是獨(dú)立設(shè)計的，很容易把數(shù)據(jù)分散到多個服務(wù)器上。由于數(shù)據(jù)被分散到了多個服務(wù)器上，減少了每個服務(wù)器上的數(shù)據(jù)量，即使要進(jìn)行大量數(shù)據(jù)的寫入操作，處理起來也更加容易。同理，數(shù)據(jù)的讀入操作當(dāng)然也同樣容易。
提升性能和增大規(guī)模
下面說一點(diǎn)題外話，如果想要使服務(wù)器能夠輕松地處理更大量的數(shù)據(jù)，那么只有兩個選擇：一是提升性能，二是增大規(guī)模。下面我們來整理一下這兩者的不同。
首先，提升性能指的就是通過提升現(xiàn)行服務(wù)器自身的性能來提高處理能力。這是非常簡單的方法，程序方面也不需要進(jìn)行變更，但需要一些費(fèi)用。若要購買性能翻倍的服務(wù)器，需要花費(fèi)的資金往往不只是原來的2倍，可能需要多達(dá)5到10倍。這種方法雖然簡單，但是成本較高。
另一方面，增大規(guī)模指的是使用多臺廉價的服務(wù)器來提高處理能力。它需要對程序進(jìn)行變更，但由于使用廉價的服務(wù)器，可以控制成本。另外，以后只要依葫蘆畫瓢增加廉價服務(wù)器的數(shù)量就可以了。
不對大量數(shù)據(jù)進(jìn)行處理的話就沒有使用的必要嗎？
NoSQL數(shù)據(jù)庫基本上來說為了“使大量數(shù)據(jù)的寫入處理更加容易(讓增加服務(wù)器數(shù)量更容易)”而設(shè)計的。但如果不是對大量數(shù)據(jù)進(jìn)行操作的話，NoSQL數(shù)據(jù)庫的應(yīng)用就沒有意義嗎?
答案是否定的。的確，它在處理大量數(shù)據(jù)方面很有優(yōu)勢。但實際上NoSQL數(shù)據(jù)庫還有各種各樣的特點(diǎn)，如果能夠恰當(dāng)?shù)乩眠@些特點(diǎn)將會是非常有幫助。具體的例子將會在第2章和第3章進(jìn)行介紹，這些用途將會讓你感受到利用NoSQL的好處。
希望順暢地對數(shù)據(jù)進(jìn)行緩存(Cache)處理
希望對數(shù)組類型的數(shù)據(jù)進(jìn)行高速處理
希望進(jìn)行全部保存
多樣的NoSQL數(shù)據(jù)庫
NoSQL數(shù)據(jù)庫存在著“key-value存儲”、“文檔型數(shù)據(jù)庫”、“列存儲數(shù)據(jù)庫”等各種各樣的種類，每種數(shù)據(jù)庫又包含各自的特點(diǎn)。下一節(jié)讓我們一起來了解一下NoSQL數(shù)據(jù)庫的種類和特點(diǎn)。
NoSQL數(shù)據(jù)庫是什么
NoSQL說起來簡單，但實際上到底有多少種呢?我在提筆的時候，到NoSQL的官方網(wǎng)站上確認(rèn)了一下，竟然已經(jīng)有122種了。另外官方網(wǎng)站上也介紹了本書沒有涉及到的圖形數(shù)據(jù)庫和對象數(shù)據(jù)庫等各個類別。不知不覺間，原來已經(jīng)出現(xiàn)了這么多的NoSQL數(shù)據(jù)庫啊。
本節(jié)將為大家介紹具有代表性的NoSQL數(shù)據(jù)庫。
key-value存儲
這是最常見的NoSQL數(shù)據(jù)庫，它的數(shù)據(jù)是以key-value的形式存儲的。雖然它的處理速度非?？欤腔旧现荒芡ㄟ^key的完全一致查詢獲取數(shù)據(jù)。根據(jù)數(shù)據(jù)的保存方式可以分為臨時性、永久性和兩者兼具三種。
臨時性
memcached屬于這種類型。所謂臨時性就是 “數(shù)據(jù)有可能丟失”的意思。memcached把所有數(shù)據(jù)都保存在內(nèi)存中，這樣保存和讀取的速度非?？欤钱?dāng)memcached停止的時候，數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中，所以無法操作超出內(nèi)存容量的數(shù)據(jù)(舊數(shù)據(jù)會丟失)。
在內(nèi)存中保存數(shù)據(jù)
可以進(jìn)行非?？焖俚谋４婧妥x取處理
數(shù)據(jù)有可能丟失
永久性
Tokyo Tyrant、Flare、ROMA等屬于這種類型。和臨時性相反，所謂永久性就是“數(shù)據(jù)不會丟失”的意思。這里的key-value存儲不像memcached那樣在內(nèi)存中保存數(shù)據(jù)，而是把數(shù)據(jù)保存在硬盤上。與memcached在內(nèi)存中處理數(shù)據(jù)比起來，由于必然要發(fā)生對硬盤的IO操作，所以性能上還是有差距的。但數(shù)據(jù)不會丟失是它最大的優(yōu)勢。
在硬盤上保存數(shù)據(jù)
可以進(jìn)行非常快速的保存和讀取處理(但無法與memcached相比)
數(shù)據(jù)不會丟失
兩者兼具
Redis屬于這種類型。Redis有些特殊，臨時性和永久性兼具，且集合了臨時性key-value存儲和永久性key-value存儲的優(yōu)點(diǎn)。Redis首先把數(shù)據(jù)保存到內(nèi)存中，在滿足特定條件(默認(rèn)是15分鐘一次以上，5分鐘內(nèi)10個以上，1分鐘內(nèi)10000個以上的key發(fā)生變更)的時候?qū)?shù)據(jù)寫入到硬盤中。這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度，又可以通過寫入硬盤來保證數(shù)據(jù)的永久性。這種類型的數(shù)據(jù)庫特別適合于處理數(shù)組類型的數(shù)據(jù)。
同時在內(nèi)存和硬盤上保存數(shù)據(jù)
可以進(jìn)行非?？焖俚谋４婧妥x取處理
保存在硬盤上的數(shù)據(jù)不會消失(可以恢復(fù))
適合于處理數(shù)組類型的數(shù)據(jù)
面向文檔的數(shù)據(jù)庫
MongoDB、CouchDB屬于這種類型。它們屬于NoSQL數(shù)據(jù)庫，但與key-value存儲相異。
不定義表結(jié)構(gòu)
面向文檔的數(shù)據(jù)庫具有以下特征：即使不定義表結(jié)構(gòu)，也可以像定義了表結(jié)構(gòu)一樣使用。關(guān)系型數(shù)據(jù)庫在變更表結(jié)構(gòu)時比較費(fèi)事，而且為了保持一致性還需修改程序。然而NoSQL數(shù)據(jù)庫則可省去這些麻煩(通常程序都是正確的)，確實是方便快捷。
可以使用復(fù)雜的查詢條件
跟key-value存儲不同的是，面向文檔的數(shù)據(jù)庫可以通過復(fù)雜的查詢條件來獲取數(shù)據(jù)。雖然不具備事務(wù)處理和JOIN這些關(guān)系型數(shù)據(jù)庫所具有的處理能力，但除此以外的其他處理基本上都能實現(xiàn)。這是非常容易使用的NoSQL數(shù)據(jù)庫。
不需要定義表結(jié)構(gòu)
可以利用復(fù)雜的查詢條件
面向列的數(shù)據(jù)庫
Cassandra、Hbase、HyperTable屬于這種類型。由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長，這種類型的NoSQL數(shù)據(jù)庫尤其引人注目。
面向行的數(shù)據(jù)庫和面向列的數(shù)據(jù)庫
普通的關(guān)系型數(shù)據(jù)庫都是以行為單位來存儲數(shù)據(jù)的，擅長進(jìn)行以行為單位的讀入處理，比如特定條件數(shù)據(jù)的獲取。因此，關(guān)系型數(shù)據(jù)庫也被稱為面向行的數(shù)據(jù)庫。相反，面向列的數(shù)據(jù)庫是以列為單位來存儲數(shù)據(jù)的，擅長以列為單位讀入數(shù)據(jù)。
高擴(kuò)展性
面向列的數(shù)據(jù)庫具有高擴(kuò)展性，即使數(shù)據(jù)增加也不會降低相應(yīng)的處理速度(特別是寫入速度)，所以它主要應(yīng)用于需要處理大量數(shù)據(jù)的情況。另外，利用面向列的數(shù)據(jù)庫的優(yōu)勢，把它作為批處理程序的存儲器來對大量數(shù)據(jù)進(jìn)行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫跟現(xiàn)行數(shù)據(jù)庫存儲的思維方式有很大不同，應(yīng)用起來十分困難。
高擴(kuò)展性(特別是寫入處理)
應(yīng)用十分困難
最近，像Twitter和Facebook這樣需要對大量數(shù)據(jù)進(jìn)行更新和查詢的網(wǎng)絡(luò)服務(wù)不斷增加，面向列的數(shù)據(jù)庫的優(yōu)勢對其中一些服務(wù)是非常有用的，但是由于這與本書所要介紹的內(nèi)容關(guān)系不大，就不進(jìn)行詳細(xì)介紹了。
總結(jié)：
NoSQL并不是No-SQL，而是指Not Only SQL。
NoSQL的出現(xiàn)是為了彌補(bǔ)SQL數(shù)據(jù)庫因為事務(wù)等機(jī)制帶來的對海量數(shù)據(jù)、高并發(fā)請求的處理的性能上的欠缺。
NoSQL不是為了替代SQL而出現(xiàn)的，它是一種替補(bǔ)方案，而不是解決方案的首選。
絕大多數(shù)的NoSQL產(chǎn)品都是基于大內(nèi)存和高性能隨機(jī)讀寫的（比如具有更高性能的固態(tài)硬盤陣列），一般的小型企業(yè)在選擇NoSQL時一定要慎重！不要為了NoSQL而NoSQL，可能會導(dǎo)致花了冤枉錢又耽擱了項目進(jìn)程。
NoSQL不是萬能的，但在大型項目中，你往往需要它！
答案：A
1.文檔型數(shù)據(jù)庫
作為最受歡迎的NoSQL產(chǎn)品，文檔型數(shù)據(jù)庫MongoDB當(dāng)仁不讓地占據(jù)了第一的位置，同時它也是所有NoSQL數(shù)據(jù)庫中排名最靠前的產(chǎn)品(總排行榜第七名)。Apache基金會的CouchDB排在第二，基于.Net的數(shù)據(jù)庫RavenDB排在第三，Couchbase排在第四。
2.鍵值(Key-value)數(shù)據(jù)庫
鍵值(Key-value)數(shù)據(jù)庫是NoSQL領(lǐng)域中應(yīng)用范圍最廣的，也是涉及產(chǎn)品最多的一種模型。從最簡單的BerkeleyDB到功能豐富的分布式數(shù)據(jù)庫Riak再到Amazon托管的DynamoDB不一而足。
在鍵值數(shù)據(jù)庫流行度排行中，Redis不出意外地排名第一，它是一款由Vmware支持的內(nèi)存數(shù)據(jù)庫，總體排名第十一。排在第二位的是Memcached，它在緩存系統(tǒng)中應(yīng)用十分廣泛。排在之后的是Riak、BerkeleyDB、SimpleDB、DynamoDB以及甲骨文的Oracle NoSQL數(shù)據(jù)庫。值得注意的是，Oracle NoSQL數(shù)據(jù)庫上榜不久，得分已經(jīng)翻番，上升勢頭非常迅猛。
3. 列式存儲
列式存儲被視為NoSQL數(shù)據(jù)庫中非常重要的一種模式，其中Cassandra流行度最高，它已經(jīng)由Facebook轉(zhuǎn)交給到Apache進(jìn)行管理，同時Cassandra在全體數(shù)據(jù)庫排名中排在第十位，緊隨MongoDB成為第二受歡迎的NoSQL數(shù)據(jù)庫。基于Hadoop的Hbase排在第二位，Hypertable排在第三。而Google的BigTable并未列入排名，原因是它并未正式公開。
elasticsearch可以代替NoSQL嗎
優(yōu)點(diǎn)：
1.高并發(fā)。實測es單機(jī)分配10g內(nèi)存單實例，寫入能力1200qps，60g內(nèi)存、12核CPU起3個實例預(yù)計可達(dá)到6000qps。
2.同機(jī)房單條數(shù)據(jù)寫入平均3ms（比mysql慢，mg不清楚）
3.容錯能力比mg強(qiáng)。比如1主多從，主片掛了從片會自動頂上
重慶分公司
重慶分公司
