為什么要使用NoSQL？NOSQL的優(yōu)勢

這次的NoSQL專欄系列將先整體介紹NoSQL，然后介紹如何把NoSQL運(yùn)用到自己的項(xiàng)目中合適的場景中，還會適當(dāng)?shù)胤治鲆恍┏晒Π咐Ｍ谐晒κ褂肗oSQL經(jīng)驗(yàn)的朋友給我提供一些線索和信息。

創(chuàng)新互聯(lián)"三網(wǎng)合一"的企業(yè)建站思路。企業(yè)可建設(shè)擁有電腦版、微信版、手機(jī)版的企業(yè)網(wǎng)站。實(shí)現(xiàn)跨屏營銷，產(chǎn)品發(fā)布一步更新，電腦網(wǎng)絡(luò)+移動網(wǎng)絡(luò)一網(wǎng)打盡，滿足企業(yè)的營銷需求！創(chuàng)新互聯(lián)具備承接各種類型的成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站項(xiàng)目的能力。經(jīng)過10余年的努力的開拓，為不同行業(yè)的企事業(yè)單位提供了優(yōu)質(zhì)的服務(wù)，并獲得了客戶的一致好評。

NoSQL概念隨著web2.0的快速發(fā)展，非關(guān)系型、分布式數(shù)據(jù)存儲得到了快速的發(fā)展，它們不保證關(guān)系數(shù)據(jù)的ACID特性。NoSQL概念在2009年被提了出來。NoSQL最常見的解釋是“non-relational”，“Not Only SQL”也被很多人接受。（“NoSQL”一詞最早于1998年被用于一個(gè)輕量級的關(guān)系數(shù)據(jù)庫的名字。）

NoSQL被我們用得最多的當(dāng)數(shù)key-value存儲，當(dāng)然還有其他的文檔型的、列存儲、圖型數(shù)據(jù)庫、xml數(shù)據(jù)庫等。在NoSQL概念提出之前，這些數(shù)據(jù)庫就被用于各種系統(tǒng)當(dāng)中，但是卻很少用于web互聯(lián)網(wǎng)應(yīng)用。比如cdb、qdbm、bdb數(shù)據(jù)庫。

傳統(tǒng)關(guān)系數(shù)據(jù)庫的瓶頸

傳統(tǒng)的關(guān)系數(shù)據(jù)庫具有不錯(cuò)的性能，高穩(wěn)定型，久經(jīng)歷史考驗(yàn)，而且使用簡單，功能強(qiáng)大，同時(shí)也積累了大量的成功案例。在互聯(lián)網(wǎng)領(lǐng)域，MySQL成為了絕對靠前的王者，毫不夸張的說，MySQL為互聯(lián)網(wǎng)的發(fā)展做出了卓越的貢獻(xiàn)。

在90年代，一個(gè)網(wǎng)站的訪問量一般都不大，用單個(gè)數(shù)據(jù)庫完全可以輕松應(yīng)付。在那個(gè)時(shí)候，更多的都是靜態(tài)網(wǎng)頁，動態(tài)交互類型的網(wǎng)站不多。

到了最近10年，網(wǎng)站開始快速發(fā)展?；鸨恼搲?、博客、sns、微博逐漸引領(lǐng)web領(lǐng)域的潮流。在初期，論壇的流量其實(shí)也不大，如果你接觸網(wǎng)絡(luò)比較早，你可能還記得那個(gè)時(shí)候還有文本型存儲的論壇程序，可以想象一般的論壇的流量有多大。

Memcached+MySQL

后來，隨著訪問量的上升，幾乎大部分使用MySQL架構(gòu)的網(wǎng)站在數(shù)據(jù)庫上都開始出現(xiàn)了性能問題，web程序不再僅僅專注在功能上，同時(shí)也在追求性能。程序員們開始大量的使用緩存技術(shù)來緩解數(shù)據(jù)庫的壓力，優(yōu)化數(shù)據(jù)庫的結(jié)構(gòu)和索引。開始比較流行的是通過文件緩存來緩解數(shù)據(jù)庫壓力，但是當(dāng)訪問量繼續(xù)增大的時(shí)候，多臺web機(jī)器通過文件緩存不能共享，大量的小文件緩存也帶了了比較高的IO壓力。在這個(gè)時(shí)候，Memcached就自然的成為一個(gè)非常時(shí)尚的技術(shù)產(chǎn)品。

Memcached作為一個(gè)獨(dú)立的分布式的緩存服務(wù)器，為多個(gè)web服務(wù)器提供了一個(gè)共享的高性能緩存服務(wù)，在Memcached服務(wù)器上，又發(fā)展了根據(jù)hash算法來進(jìn)行多臺Memcached緩存服務(wù)的擴(kuò)展，然后又出現(xiàn)了一致性hash來解決增加或減少緩存服務(wù)器導(dǎo)致重新hash帶來的大量緩存失效的弊端。當(dāng)時(shí)，如果你去面試，你說你有Memcached經(jīng)驗(yàn)，肯定會加分的。

Mysql主從讀寫分離

由于數(shù)據(jù)庫的寫入壓力增加，Memcached只能緩解數(shù)據(jù)庫的讀取壓力。讀寫集中在一個(gè)數(shù)據(jù)庫上讓數(shù)據(jù)庫不堪重負(fù)，大部分網(wǎng)站開始使用主從復(fù)制技術(shù)來達(dá)到讀寫分離，以提高讀寫性能和讀庫的可擴(kuò)展性。Mysql的master-slave模式成為這個(gè)時(shí)候的網(wǎng)站標(biāo)配了。

分表分庫隨著web2.0的繼續(xù)高速發(fā)展，在Memcached的高速緩存，MySQL的主從復(fù)制，讀寫分離的基礎(chǔ)之上，這時(shí)MySQL主庫的寫壓力開始出現(xiàn)瓶頸，而數(shù)據(jù)量的持續(xù)猛增，由于MyISAM使用表鎖，在高并發(fā)下會出現(xiàn)嚴(yán)重的鎖問題，大量的高并發(fā)MySQL應(yīng)用開始使用InnoDB引擎代替MyISAM。同時(shí)，開始流行使用分表分庫來緩解寫壓力和數(shù)據(jù)增長的擴(kuò)展問題。這個(gè)時(shí)候，分表分庫成了一個(gè)熱門技術(shù)，是面試的熱門問題也是業(yè)界討論的熱門技術(shù)問題。也就在這個(gè)時(shí)候，MySQL推出了還不太穩(wěn)定的表分區(qū)，這也給技術(shù)實(shí)力一般的公司帶來了希望。雖然MySQL推出了MySQL Cluster集群，但是由于在互聯(lián)網(wǎng)幾乎沒有成功案例，性能也不能滿足互聯(lián)網(wǎng)的要求，只是在高可靠性上提供了非常大的保證。

MySQL的擴(kuò)展性瓶頸

在互聯(lián)網(wǎng)，大部分的MySQL都應(yīng)該是IO密集型的，事實(shí)上，如果你的MySQL是個(gè)CPU密集型的話，那么很可能你的MySQL設(shè)計(jì)得有性能問題，需要優(yōu)化了。大數(shù)據(jù)量高并發(fā)環(huán)境下的MySQL應(yīng)用開發(fā)越來越復(fù)雜，也越來越具有技術(shù)挑戰(zhàn)性。分表分庫的規(guī)則把握都是需要經(jīng)驗(yàn)的。雖然有像淘寶這樣技術(shù)實(shí)力強(qiáng)大的公司開發(fā)了透明的中間件層來屏蔽開發(fā)者的復(fù)雜性，但是避免不了整個(gè)架構(gòu)的復(fù)雜性。分庫分表的子庫到一定階段又面臨擴(kuò)展問題。還有就是需求的變更，可能又需要一種新的分庫方式。

MySQL數(shù)據(jù)庫也經(jīng)常存儲一些大文本字段，導(dǎo)致數(shù)據(jù)庫表非常的大，在做數(shù)據(jù)庫恢復(fù)的時(shí)候就導(dǎo)致非常的慢，不容易快速恢復(fù)數(shù)據(jù)庫。比如1000萬4KB大小的文本就接近40GB的大小，如果能把這些數(shù)據(jù)從MySQL省去，MySQL將變得非常的小。

關(guān)系數(shù)據(jù)庫很強(qiáng)大，但是它并不能很好的應(yīng)付所有的應(yīng)用場景。MySQL的擴(kuò)展性差（需要復(fù)雜的技術(shù)來實(shí)現(xiàn)），大數(shù)據(jù)下IO壓力大，表結(jié)構(gòu)更改困難，正是當(dāng)前使用MySQL的開發(fā)人員面臨的問題。

NOSQL的優(yōu)勢易擴(kuò)展NoSQL數(shù)據(jù)庫種類繁多，但是一個(gè)共同的特點(diǎn)都是去掉關(guān)系數(shù)據(jù)庫的關(guān)系型特性。數(shù)據(jù)之間無關(guān)系，這樣就非常容易擴(kuò)展。也無形之間，在架構(gòu)的層面上帶來了可擴(kuò)展的能力。

大數(shù)據(jù)量，高性能

NoSQL數(shù)據(jù)庫都具有非常高的讀寫性能，尤其在大數(shù)據(jù)量下，同樣表現(xiàn)優(yōu)秀。這得益于它的無關(guān)系性，數(shù)據(jù)庫的結(jié)構(gòu)簡單。一般MySQL使用Query Cache，每次表的更新Cache就失效，是一種大粒度的Cache，在針對web2.0的交互頻繁的應(yīng)用，Cache性能不高。而NoSQL的Cache是記錄級的，是一種細(xì)粒度的Cache，所以NoSQL在這個(gè)層面上來說就要性能高很多了。

靈活的數(shù)據(jù)模型

NoSQL無需事先為要存儲的數(shù)據(jù)建立字段，隨時(shí)可以存儲自定義的數(shù)據(jù)格式。而在關(guān)系數(shù)據(jù)庫里，增刪字段是一件非常麻煩的事情。如果是非常大數(shù)據(jù)量的表，增加字段簡直就是一個(gè)噩夢。這點(diǎn)在大數(shù)據(jù)量的web2.0時(shí)代尤其明顯。

高可用NoSQL在不太影響性能的情況，就可以方便的實(shí)現(xiàn)高可用的架構(gòu)。比如Cassandra，HBase模型，通過復(fù)制模型也能實(shí)現(xiàn)高可用。

總結(jié)NoSQL數(shù)據(jù)庫的出現(xiàn)，彌補(bǔ)了關(guān)系數(shù)據(jù)（比如MySQL）在某些方面的不足，在某些方面能極大的節(jié)省開發(fā)成本和維護(hù)成本。

MySQL和NoSQL都有各自的特點(diǎn)和使用的應(yīng)用場景，兩者的緊密結(jié)合將會給web2.0的數(shù)據(jù)庫發(fā)展帶來新的思路。

關(guān)于數(shù)據(jù)庫存儲鍵值對的問題？

這是前端（應(yīng)用端）和后端（服務(wù)端）的問題，這個(gè)應(yīng)該是每個(gè)用戶的單獨(dú)配置，那么應(yīng)該放在前端而是不是放在后端，如果放在后端，那么每個(gè)用戶都要讀取，那么體驗(yàn)一定不好。

對于前端來說，只要加一個(gè)“配置文件”（其實(shí)就是一段代碼）就可以，然后通過服務(wù)端的程序讀取這個(gè)“配置文件”，就知道相應(yīng)的順序了，這樣總比，連通服務(wù)器讀取相應(yīng)的表，來的要快。

如果非要用數(shù)據(jù)庫解決，那我們做一個(gè)假設(shè)，有100項(xiàng)，某人將所有的項(xiàng)目變成了從后往前倒著寫的，也就是第100項(xiàng)與第1項(xiàng)位置互換，第99項(xiàng)與第2項(xiàng)位置互換，這樣，那么最后是第50項(xiàng)與第51項(xiàng)調(diào)換，也就是100項(xiàng)完全變換了位置，那么不管你怎么存儲，怎么讀取，這些項(xiàng)都必須全部保存起來，因?yàn)槊恳豁?xiàng)的順序都變了，所以這個(gè)方案并不是十分好。

當(dāng)然，如果非要這么做的話，那么有一個(gè)稍微簡單一點(diǎn)的辦法，不過也需要前端的配合而且，很可能出現(xiàn)征用的情況，使用效果也不一定能太好。

我的辦法是建立userid 10001 10002 10003 這樣一張表，說白了就是一張以默認(rèn)順序ModuleID（個(gè)人覺得這個(gè)可能是你的表頭代碼，如果不是不要介意）為字段名的表，然后每條用戶id，對應(yīng)一組編號比如（默認(rèn)編號為1,2,3,4）：

userid 10001 10002 10003 10004

1 4 3 1 2

2 2 1 4 3

3 1 2 3 4

類似于這樣就能直接得到用戶的編號順序了，不過這種還是不如在前端一個(gè)配置文件來的舒服（用戶修改配置文件后，服務(wù)端也會備份（類似于上表這種也可以作為一個(gè)客戶端配置的備份），但是這種備份比直接修改數(shù)據(jù)庫要要省事不少，至少節(jié)省了數(shù)據(jù)庫的資源），而且可能出現(xiàn)征用的問題，比如兩個(gè)人或更多的人同時(shí)修改代碼，那么一張表不可能讓這么多人同時(shí)update，肯定要出現(xiàn)征用，那么服務(wù)體驗(yàn)就不會太好（備份的話，不用那么及時(shí)，所以征用的可能性不大，即使出現(xiàn)也是發(fā)生在后端，用戶的體驗(yàn)并沒有什么影響）。

以上均為個(gè)人理解，共同探討。

簡述什么是nosql數(shù)據(jù)庫，并列舉兩種常見的nosql數(shù)據(jù)庫名稱及其特點(diǎn)

NoSQL太火，冒出太多產(chǎn)品了，保守估計(jì)也成百上千了。

互聯(lián)網(wǎng)公司常用的基本集中在以下幾種，每種只舉一個(gè)比較常見或者應(yīng)用比較成功的例子吧。

1. In-Memory KV Store : Redis

in memory key-value store，同時(shí)提供了更加豐富的數(shù)據(jù)結(jié)構(gòu)和運(yùn)算的能力，成功用法是替代memcached，通過checkpoint和commit log提供了快速的宕機(jī)恢復(fù)，同時(shí)支持replication提供讀可擴(kuò)展和高可用。

2. Disk-Based KV Store: Leveldb

真正基于磁盤的key-value storage, 模型單一簡單，數(shù)據(jù)量不受限于內(nèi)存大小，數(shù)據(jù)落盤高可靠，Google的幾位大神出品的精品，LSM模型天然寫優(yōu)化，順序?qū)懕P的方式對于新硬件ssd再適合不過了，不足是僅提供了一個(gè)庫，需要自己封裝server端。

3. Document Store: Mongodb

分布式nosql，具備了區(qū)別mysql的最大亮點(diǎn)：可擴(kuò)展性。mongodb 最新引人的莫過于提供了sql接口，是目前nosql里最像mysql的，只是沒有ACID的特性，發(fā)展很快，支持了索引等特性，上手容易，對于數(shù)據(jù)量遠(yuǎn)超內(nèi)存限制的場景來說，還需要慎重。

4. Column Table Store: HBase

這個(gè)富二代似乎不用贅述了，最大的優(yōu)勢是開源，對于普通的scan和基于行的get等基本查詢，性能完全不是問題，只是只提供裸的api,易用性上是短板，可擴(kuò)展性方面是最強(qiáng)的，其次坐上了Hadoop的快車，社區(qū)發(fā)展很快，各種基于其上的開源產(chǎn)品不少，來解決諸如join、聚集運(yùn)算等復(fù)雜查詢。

高性能 NoSQL

關(guān)系數(shù)據(jù)庫經(jīng)過幾十年的發(fā)展，已經(jīng)非常成熟，但同時(shí)也存在不足：

表結(jié)構(gòu)是強(qiáng)約束的，業(yè)務(wù)變更時(shí)擴(kuò)充很麻煩。

如果對大數(shù)據(jù)量的表進(jìn)行統(tǒng)計(jì)運(yùn)算，I/O會很高，因?yàn)榧词怪会槍δ沉羞M(jìn)行運(yùn)算，也需要將整行數(shù)據(jù)讀入內(nèi)存。

全文搜索只能使用 Like 進(jìn)行整表掃描，性能非常低。

針對這些不足，產(chǎn)生了不同的 NoSQL 解決方案，在某些場景下比關(guān)系數(shù)據(jù)庫更有優(yōu)勢，但同時(shí)也犧牲了某些特性，所以不能片面的迷信某種方案，應(yīng)將其作為 SQL 的有利補(bǔ)充。

NoSQL != No SQL，而是：

NoSQL = Not Only SQL

典型的 NoSQL 方案分為4類：

Redis 是典型，其 value 是具體的數(shù)據(jù)結(jié)構(gòu)，包括 string, hash, list, set, sorted set, bitmap, hyperloglog，常被稱為數(shù)據(jù)結(jié)構(gòu)服務(wù)器。

以 list 為例：

LPOP key 是移除并返回隊(duì)列左邊的第一個(gè)元素。

如果用關(guān)系數(shù)據(jù)庫就比較麻煩了，需要操作：

Redis 的缺點(diǎn)主要體現(xiàn)在不支持完成的ACID事務(wù)，只能保證隔離性和一致性，無法保證原子性和持久性。

最大的特點(diǎn)是 no-schema，無需在使用前定義字段，讀取一個(gè)不存在的字段也不會導(dǎo)致語法錯(cuò)誤。

特點(diǎn)：

以電商為例，不同商品的屬性差異很大，如冰箱和電腦，這種差異性在關(guān)系數(shù)據(jù)庫中會有很大的麻煩，而使用文檔數(shù)據(jù)庫則非常方便。

文檔數(shù)據(jù)庫的主要缺點(diǎn)：

關(guān)系數(shù)據(jù)庫是按行來存儲的，列式數(shù)據(jù)庫是按照列來存儲數(shù)據(jù)。

按行存儲的優(yōu)勢：

在某些場景下，這些優(yōu)勢就成為劣勢了，例如，計(jì)算超重人員的數(shù)據(jù)，只需要讀取體重這一列進(jìn)行統(tǒng)計(jì)即可，但行式存儲會將整行數(shù)據(jù)讀取到內(nèi)存中，很浪費(fèi)。

而列式存儲中，只需要讀取體重這列的數(shù)據(jù)即可，I/O 將大大減少。

除了節(jié)省I/O，列式存儲還有更高的壓縮比，可以節(jié)省存儲空間。普通行式數(shù)據(jù)庫的壓縮比在 3:1 到 5:1 左右，列式數(shù)據(jù)庫在 8:1 到 30:1，因?yàn)閱蝹€(gè)列的數(shù)據(jù)相似度更高。

列式存儲的隨機(jī)寫效率遠(yuǎn)低于行式存儲，因?yàn)樾惺酱鎯r(shí)同一行多個(gè)列都存儲在連續(xù)空間中，而列式存儲將不同列存儲在不連續(xù)的空間。

一般將列式存儲應(yīng)用在離線大數(shù)據(jù)分析統(tǒng)計(jì)場景，因?yàn)檫@時(shí)主要針對部分列進(jìn)行操作，而且數(shù)據(jù)寫入后無須更新。

關(guān)系數(shù)據(jù)庫通過索引進(jìn)行快速查詢，但在全文搜索的情景下，索引就不夠了，因?yàn)椋?/p>

假設(shè)有一個(gè)交友網(wǎng)站，信息表如下：

需要匹配性別、地點(diǎn)、語言列。

需要匹配性別、地點(diǎn)、愛好列。

實(shí)際搜索中，各種排列組合非常多，關(guān)系數(shù)據(jù)庫很難支持。

全文搜索引擎是使用 倒排索引 技術(shù)，建立單詞到文檔的索引，例如上面的表信息建立倒排索引：

所以特別適合根據(jù)關(guān)鍵詞來查詢文檔內(nèi)容。

上面介紹了幾種典型的NoSQL方案，及各自的適用場景和特點(diǎn)，您可以根據(jù)實(shí)際需求進(jìn)行選擇。