什么時(shí)候該用NoSQL

NoSQL，泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題。

成都創(chuàng)新互聯(lián)公司長(zhǎng)期為超過千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為濰城企業(yè)提供專業(yè)的網(wǎng)站建設(shè)、做網(wǎng)站，濰城網(wǎng)站改版等技術(shù)服務(wù)。擁有十載豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

NoSQL的擁護(hù)者們提倡運(yùn)用非關(guān)系型的數(shù)據(jù)存儲(chǔ)，相對(duì)于鋪天蓋地的關(guān)系型數(shù)據(jù)庫運(yùn)用，這一概念無疑是一種全新的思維的注入。

為什么使用nosql

因?yàn)樗俣瓤臁Ｄ闵蟽|級(jí)數(shù)據(jù)的情況下NOSQL是比普通SQL效率更高，哪怕有索引。畢竟NOSQL的存儲(chǔ)空間使用是普通SQL三倍多?；径加迷谒饕矫媪恕?/p>

如果是全文搜索關(guān)鍵字，左右模糊等就更甩SQL幾條街了

互聯(lián)網(wǎng)背景下，為什么用NoSql

本文將從單機(jī)MySQL的場(chǎng)景出發(fā)，簡(jiǎn)述一下隨著網(wǎng)站的訪問量越來越大，數(shù)據(jù)庫部署的演進(jìn)過程，到為什么要用MySQL的必要性。

大數(shù)據(jù)時(shí)代的數(shù)據(jù)有3V的特點(diǎn)：海量Volume、多樣Variety、實(shí)時(shí)Velocity。

互聯(lián)網(wǎng)網(wǎng)站需求的3高的特點(diǎn)：高并發(fā)、高可擴(kuò)、高性能。

一、單機(jī)MySql

當(dāng)一個(gè)網(wǎng)站的訪問量不大時(shí)，用單個(gè)數(shù)據(jù)庫完全可以輕松應(yīng)付。

在那個(gè)時(shí)候，更多的都是靜態(tài)網(wǎng)頁，動(dòng)態(tài)交互類型的網(wǎng)站不多。

上述架構(gòu)下，我們來看看數(shù)據(jù)存儲(chǔ)的瓶頸是什么？

1.數(shù)據(jù)量的總大小 一個(gè)機(jī)器放不下時(shí)

2.數(shù)據(jù)的索引（B+ Tree）一個(gè)機(jī)器的內(nèi)存放不下時(shí)

3.訪問量(讀寫混合)一個(gè)實(shí)例不能承受

如果滿足了上述1 or 3個(gè)，進(jìn)化......

二、Memcached（緩存）+Mysql+垂直拆分

后來，隨著訪問量的上升，幾乎大部分使用MySQL架構(gòu)的網(wǎng)站在數(shù)據(jù)庫上都開始出現(xiàn)了性能問題，web程序不再僅僅專注在功能上，同時(shí)也在追求性能。程序員們開始大量的使用緩存技術(shù)來緩解數(shù)據(jù)庫的壓力，優(yōu)化數(shù)據(jù)庫的結(jié)構(gòu)和索引。開始比較流行的是通過文件緩存來緩解數(shù)據(jù)庫壓力，但是當(dāng)訪問量繼續(xù)增大的時(shí)候，多臺(tái)web機(jī)器通過文件緩存不能共享，大量的小文件緩存也帶了了比較高的IO壓力。在這個(gè)時(shí)候，Memcached就自然的成為一個(gè)非常時(shí)尚的技術(shù)產(chǎn)品。

Memcached作為一個(gè)獨(dú)立的分布式的緩存服務(wù)器，為多個(gè)web服務(wù)器提供了一個(gè)共享的高性能緩存服務(wù)，在Memcached服務(wù)器上，又發(fā)展了根據(jù)hash算法來進(jìn)行多臺(tái)Memcached緩存服務(wù)的擴(kuò)展，然后又出現(xiàn)了一致性hash來解決增加或減少緩存服務(wù)器導(dǎo)致重新hash帶來的大量緩存失效的弊端

三、MySql主從復(fù)制讀寫分離

由于數(shù)據(jù)庫的寫入壓力增加，Memcached只能緩解數(shù)據(jù)庫的讀取壓力。讀寫集中在一個(gè)數(shù)據(jù)庫上讓數(shù)據(jù)庫不堪重負(fù)，大部分網(wǎng)站開始使用主從復(fù)制技術(shù)來達(dá)到讀寫分離，以提高讀寫性能和讀庫的可擴(kuò)展性。Mysql的master-slave模式成為這個(gè)時(shí)候的網(wǎng)站標(biāo)配了。

四、分庫分表+水平拆分+Mysql集群

在Memcached的高速緩存，MySQL的主從復(fù)制，讀寫分離的基礎(chǔ)之上，這時(shí)MySQL主庫的寫壓力開始出現(xiàn)瓶頸，而數(shù)據(jù)量的持續(xù)猛增，由于MyISAM使用表鎖，在高并發(fā)下會(huì)出現(xiàn)嚴(yán)重的鎖問題，大量的高并發(fā)MySQL應(yīng)用開始使用InnoDB引擎代替MyISAM。

同時(shí)，開始流行使用分表分庫來緩解寫壓力和數(shù)據(jù)增長(zhǎng)的擴(kuò)展問題。這個(gè)時(shí)候，分表分庫成了一個(gè)熱門技術(shù)，是面試的熱門問題也是業(yè)界討論的熱門技術(shù)問題。也就在這個(gè)時(shí)候，MySQL推出了還不太穩(wěn)定的表分區(qū)，這也給技術(shù)實(shí)力一般的公司帶來了希望。雖然MySQL推出了MySQL Cluster集群，但性能也不能很好滿足互聯(lián)網(wǎng)的要求，只是在高可靠性上提供了非常大的保證。

五、Mysql的擴(kuò)展性瓶頸

MySQL數(shù)據(jù)庫也經(jīng)常存儲(chǔ)一些大文本字段，導(dǎo)致數(shù)據(jù)庫表非常的大，在做數(shù)據(jù)庫恢復(fù)的時(shí)候就導(dǎo)致非常的慢，不容易快速恢復(fù)數(shù)據(jù)庫。比如1000萬4KB大小的文本就接近40GB的大小，如果能把這些數(shù)據(jù)從MySQL省去，MySQL將變得非常的小。關(guān)系數(shù)據(jù)庫很強(qiáng)大，但是它并不能很好的應(yīng)付所有的應(yīng)用場(chǎng)景。MySQL的擴(kuò)展性差（需要復(fù)雜的技術(shù)來實(shí)現(xiàn)），大數(shù)據(jù)下IO壓力大，表結(jié)構(gòu)更改困難，正是當(dāng)前使用MySQL的開發(fā)人員面臨的問題。

六、為什么用Nosql

今天我們可以通過第三方平臺(tái)（如：Google,Facebook等）可以很容易的訪問和抓取數(shù)據(jù)。用戶的個(gè)人信息，社交網(wǎng)絡(luò)，地理位置，用戶生成的數(shù)據(jù)和用戶操作日志已經(jīng)成倍的增加。我們?nèi)绻獙?duì)這些用戶數(shù)據(jù)進(jìn)行挖掘，那SQL數(shù)據(jù)庫已經(jīng)不適合這些應(yīng)用了, NoSQL數(shù)據(jù)庫的發(fā)展也卻能很好的處理這些大的數(shù)據(jù)。下面給大家看一下，web應(yīng)用數(shù)據(jù)量的增長(zhǎng)圖：

七、Nosql是什么

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，

泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題，包括超大規(guī)模數(shù)據(jù)的存儲(chǔ)。

（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數(shù)據(jù)）。這些類型的數(shù)據(jù)存儲(chǔ)不需要固定的模式，無需多余操作就可以橫向擴(kuò)展。

八、Nosql的優(yōu)勢(shì)

1.易擴(kuò)展

NoSQL數(shù)據(jù)庫種類繁多，但是一個(gè)共同的特點(diǎn)都是去掉關(guān)系數(shù)據(jù)庫的關(guān)系型特性。

數(shù)據(jù)之間無關(guān)系，這樣就非常容易擴(kuò)展。也無形之間，在架構(gòu)的層面上帶來了可擴(kuò)展的能力。

2.大數(shù)據(jù)量，高性能

NoSQL數(shù)據(jù)庫都具有非常高的讀寫性能，尤其在大數(shù)據(jù)量下，同樣表現(xiàn)優(yōu)秀。

這得益于它的無關(guān)系性，數(shù)據(jù)庫的結(jié)構(gòu)簡(jiǎn)單。一般MySQL使用Query Cache，每次表的更新Cache就失效，是一種大粒度的Cache，在針對(duì)web2.0的交互頻繁的應(yīng)用，Cache性能不高。而NoSQL的Cache是記錄級(jí)的，是一種細(xì)粒度的Cache，所以NoSQL在這個(gè)層面上來說就要性能高很多了。

3.多樣靈活的數(shù)據(jù)模型

NoSQL無需事先為要存儲(chǔ)的數(shù)據(jù)建立字段，隨時(shí)可以存儲(chǔ)自定義的數(shù)據(jù)格式。而在關(guān)系數(shù)據(jù)庫里，增刪字段是一件非常麻煩的事情。如果是非常大數(shù)據(jù)量的表，增加字段簡(jiǎn)直就是一個(gè)噩夢(mèng)。

九、Nosql數(shù)據(jù)庫的四大分類

鍵值(Key-Value)存儲(chǔ)

列存儲(chǔ)

文檔存儲(chǔ)

圖形存儲(chǔ)

常見的有：Redis、Memcache、MongoDB，這里就不一 一 介紹了。

如何用好NoSQL

Weather公司CIO Bryson Koehler整理出了MongoDB，Riak和Cassandra等NoSQL數(shù)據(jù)庫的特性。他指出這其中最重要的特性是“NoSQL不會(huì)限制住你”。

Weather公司，致力于天氣報(bào)告和天氣預(yù)報(bào)業(yè)務(wù)，其并不缺乏數(shù)據(jù)，當(dāng)然也不缺乏數(shù)據(jù)管理工具。但它為什么需要三種不同的NoSQL數(shù)據(jù)庫？

最近，我向Weather 公司的CIO Bryson Koehler提出了這個(gè)疑問，除了公司的CIO,Bryson Koehler還是其他很多業(yè)務(wù)單元的孵化者,包括Weather Channel，WeatherFX，Weather Underground，和Intellicast等。Weather公司每天獲取和處理著約20萬億字節(jié)數(shù)據(jù)，對(duì)外提供當(dāng)前全球天氣狀況，并為航空公司，緊急服務(wù)，貨運(yùn)商，公用事業(yè)，保險(xiǎn)，以及在線天氣網(wǎng)站和天氣應(yīng)用程序的用戶提供天氣預(yù)報(bào)服務(wù)。每天需求增加了數(shù)十億的天氣數(shù)據(jù)請(qǐng)求，并且預(yù)期響應(yīng)時(shí)間要在10毫秒左右。

Riak是Weather 公司的后臺(tái)NoSQL數(shù)據(jù)庫，服務(wù)于公司的事務(wù)性存儲(chǔ)公用網(wǎng)絡(luò)(SUN)數(shù)據(jù)獲取平臺(tái)，它運(yùn)行在多個(gè)亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)的可用區(qū)域上，并以每小時(shí)15次的頻率捕獲超過20億氣象數(shù)據(jù)信息，。所以，Riak具有明確的處理規(guī)模，但該公司也使用Cassandra以及新近添加的MongoDB數(shù)據(jù)庫，為Weather.com 上IOS和Android移動(dòng)應(yīng)用程序服務(wù)。