NewSQL是對(duì)一類現(xiàn)代關(guān)系型數(shù)據(jù)庫(kù)的統(tǒng)稱，這類數(shù)據(jù)庫(kù)對(duì)于一般的OLTP讀寫請(qǐng)求提供可橫向擴(kuò)展的性能，同時(shí)支持事務(wù)的ACID保證。這些系統(tǒng)既擁有NoSQL數(shù)據(jù)庫(kù)的擴(kuò)展性，又保持傳統(tǒng)數(shù)據(jù)庫(kù)的事務(wù)特性。NewSQL重新將“應(yīng)用程序邏輯與數(shù)據(jù)操作邏輯應(yīng)該分離”的理念帶回到現(xiàn)代數(shù)據(jù)庫(kù)的世界，這也驗(yàn)證了歷史的發(fā)展總是呈現(xiàn)出螺旋上升的形式。
為冷水江等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及冷水江網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為成都做網(wǎng)站、成都網(wǎng)站建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、冷水江網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠(chéng)的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！
在21世紀(jì)00年代中，出現(xiàn)了許多數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng) (如 Vertica，Greeplum 和AsterData)，這些以處理OLAP 請(qǐng)求為設(shè)計(jì)目標(biāo)的系統(tǒng)并不在本文定義的NewSQL范圍內(nèi)。OLAP 數(shù)據(jù)庫(kù)更關(guān)注針對(duì)海量數(shù)據(jù)的大型、復(fù)雜、只讀的查詢，查詢時(shí)間可能持續(xù)秒級(jí)、分鐘級(jí)甚至更長(zhǎng)。
NoSQL的擁躉普遍認(rèn)為阻礙傳統(tǒng)數(shù)據(jù)庫(kù)橫向擴(kuò)容、提高可用性的原因在于ACID保證和關(guān)系模型，因此NoSQL運(yùn)動(dòng)的核心就是放棄事務(wù)強(qiáng)一致性以及關(guān)系模型，擁抱最終一致性和其它數(shù)據(jù)模型?(如 key/value，graphs 和Documents)。
兩個(gè)最著名的NoSQL數(shù)據(jù)庫(kù)就是Google的BigTable和Amazon的Dynamo，由于二者都未開源，其它組織就開始推出類似的開源替代項(xiàng)目，包括Facebook的 Cassandra (基于BigTable和Dynamo)、PowerSet的 Hbase(基于BigTable)。有一些創(chuàng)業(yè)公司也加入到這場(chǎng)NoSQL運(yùn)動(dòng)中，它們不一定是受BigTable和Dynamo的啟發(fā)，但都響應(yīng)了NoSQL的哲學(xué)，其中最出名的就是MongoDB。
在21世紀(jì)00年代末，市面上已經(jīng)有許多供用戶選擇的分布式數(shù)據(jù)庫(kù)產(chǎn)品。使用NoSQL的優(yōu)勢(shì)在于應(yīng)用開發(fā)者可以更關(guān)注應(yīng)用邏輯本身，而非數(shù)據(jù)庫(kù)的擴(kuò)展性問題；但與此同時(shí)許多應(yīng)用，如金融系統(tǒng)、訂單處理系統(tǒng)，由于無法放棄事務(wù)的一致性要求被拒之門外。
一些組織，如Google，已經(jīng)發(fā)現(xiàn)他們的許多工程師將過多的精力放在處理數(shù)據(jù)一致性上，這既暴露了數(shù)據(jù)庫(kù)的抽象、又提高了代碼的復(fù)雜度，這時(shí)候要么選擇回到傳統(tǒng)DBMS時(shí)代，用更高的機(jī)器配置縱向擴(kuò)容，要么選擇回到中間件時(shí)代，開發(fā)支持分布式事務(wù)的中間件。這兩種方案成本都很高，于是NewSQL運(yùn)動(dòng)開始醞釀。
NewSQL數(shù)據(jù)庫(kù)設(shè)計(jì)針對(duì)的讀寫事務(wù)有以下特點(diǎn)：
1、耗時(shí)短。
2、使用索引查詢，涉及少量數(shù)據(jù)。
3、重復(fù)度高，通常使用相同的查詢語句和不同的查詢參考。
也有一些學(xué)者認(rèn)為NewSQL系統(tǒng)是特指實(shí)現(xiàn)上使用Lock-free并發(fā)控制技術(shù)和share-nothing架構(gòu)的數(shù)據(jù)庫(kù)。所有我們認(rèn)為是NewSQL的數(shù)據(jù)庫(kù)系統(tǒng)確實(shí)都有這樣的特點(diǎn)。
本質(zhì)是因?yàn)椋弘S著互聯(lián)網(wǎng)的進(jìn)一步發(fā)展與各行業(yè)信息化建設(shè)進(jìn)程加快、參與者的增多，人們對(duì)軟件有了更多更新的要求，需要軟件不僅能實(shí)現(xiàn)功能，而且要求保證許多人可以共同參與使用，因而軟件所需承載的數(shù)據(jù)量和吞吐量必須達(dá)到相應(yīng)的需求。而目前的關(guān)系型數(shù)據(jù)庫(kù)在某些方面有一些缺點(diǎn)，導(dǎo)致不能滿足需要。
具體則需要對(duì)比關(guān)系型數(shù)據(jù)庫(kù)與Nosql之間的區(qū)別可以得出
關(guān)系型數(shù)據(jù)庫(kù)
關(guān)系型數(shù)據(jù)庫(kù)把所有的數(shù)據(jù)都通過行和列的二元表現(xiàn)形式表示出來。
關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)勢(shì)：
1.?保持?jǐn)?shù)據(jù)的一致性（事務(wù)處理）
2.由于以標(biāo)準(zhǔn)化為前提，數(shù)據(jù)更新的開銷很小（相同的字段基本上都只有一處）
3.?可以進(jìn)行Join等復(fù)雜查詢
其中能夠保持?jǐn)?shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫(kù)的最大優(yōu)勢(shì)。
關(guān)系型數(shù)據(jù)庫(kù)的不足：
不擅長(zhǎng)的處理
1.?大量數(shù)據(jù)的寫入處理（這點(diǎn)尤為重要）
2.?為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)（schema）變更
3.?字段不固定時(shí)應(yīng)用
4.?對(duì)簡(jiǎn)單查詢需要快速返回結(jié)果的處理
--大量數(shù)據(jù)的寫入處理
讀寫集中在一個(gè)數(shù)據(jù)庫(kù)上讓數(shù)據(jù)庫(kù)不堪重負(fù)，大部分網(wǎng)站已使用主從復(fù)制技術(shù)實(shí)現(xiàn)讀寫分離，以提高讀寫性能和讀庫(kù)的可擴(kuò)展性。
所以在進(jìn)行大量數(shù)據(jù)操作時(shí)，會(huì)使用數(shù)據(jù)庫(kù)主從模式。數(shù)據(jù)的寫入由主數(shù)據(jù)庫(kù)負(fù)責(zé)，數(shù)據(jù)的讀入由從數(shù)據(jù)庫(kù)負(fù)責(zé)，可以比較簡(jiǎn)單地通過增加從數(shù)據(jù)庫(kù)來實(shí)現(xiàn)規(guī)?；菙?shù)據(jù)的寫入?yún)s完全沒有簡(jiǎn)單的方法來解決規(guī)?；瘑栴}。
第一，要想將數(shù)據(jù)的寫入規(guī)?；梢钥紤]把主數(shù)據(jù)庫(kù)從一臺(tái)增加到兩臺(tái)，作為互相關(guān)聯(lián)復(fù)制的二元主數(shù)據(jù)庫(kù)使用，確實(shí)這樣可以把每臺(tái)主數(shù)據(jù)庫(kù)的負(fù)荷減少一半，但是更新處理會(huì)發(fā)生沖突，可能會(huì)造成數(shù)據(jù)的不一致，為了避免這樣的問題，需要把對(duì)每個(gè)表的請(qǐng)求分別分配給合適的主數(shù)據(jù)庫(kù)來處理。
第二，可以考慮把數(shù)據(jù)庫(kù)分割開來，分別放在不同的數(shù)據(jù)庫(kù)服務(wù)器上，比如將不同的表放在不同的數(shù)據(jù)庫(kù)服務(wù)器上，數(shù)據(jù)庫(kù)分割可以減少每臺(tái)數(shù)據(jù)庫(kù)服務(wù)器上的數(shù)據(jù)量，以便減少硬盤IO的輸入、輸出處理，實(shí)現(xiàn)內(nèi)存上的高速處理。但是由于分別存儲(chǔ)字不同服務(wù)器上的表之間無法進(jìn)行Join處理，數(shù)據(jù)庫(kù)分割的時(shí)候就需要預(yù)先考慮這些問題，數(shù)據(jù)庫(kù)分割之后，如果一定要進(jìn)行Join處理，就必須要在程序中進(jìn)行關(guān)聯(lián)，這是非常困難的。
--為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)變更
在使用關(guān)系型數(shù)據(jù)庫(kù)時(shí)，為了加快查詢速度需要?jiǎng)?chuàng)建索引，為了增加必要的字段就一定要改變表結(jié)構(gòu)，為了進(jìn)行這些處理，需要對(duì)表進(jìn)行共享鎖定，這期間數(shù)據(jù)變更、更新、插入、刪除等都是無法進(jìn)行的。如果需要進(jìn)行一些耗時(shí)操作，例如為數(shù)據(jù)量比較大的表創(chuàng)建索引或是變更其表結(jié)構(gòu)，就需要特別注意，長(zhǎng)時(shí)間內(nèi)數(shù)據(jù)可能無法進(jìn)行更新。
--字段不固定時(shí)的應(yīng)用
如果字段不固定，利用關(guān)系型數(shù)據(jù)庫(kù)也是比較困難的，有人會(huì)說，需要的時(shí)候加個(gè)字段就可以了，這樣的方法也不是不可以，但在實(shí)際運(yùn)用中每次都進(jìn)行反復(fù)的表結(jié)構(gòu)變更是非常痛苦的。你也可以預(yù)先設(shè)定大量的預(yù)備字段，但這樣的話，時(shí)間一長(zhǎng)很容易弄不清除字段和數(shù)據(jù)的對(duì)應(yīng)狀態(tài)，即哪個(gè)字段保存有哪些數(shù)據(jù)。
--對(duì)簡(jiǎn)單查詢需要快速返回結(jié)果的處理? （這里的“簡(jiǎn)單”指的是沒有復(fù)雜的查詢條件）
這一點(diǎn)稱不上是缺點(diǎn)，但不管怎樣，關(guān)系型數(shù)據(jù)庫(kù)并不擅長(zhǎng)對(duì)簡(jiǎn)單的查詢快速返回結(jié)果，因?yàn)殛P(guān)系型數(shù)據(jù)庫(kù)是使用專門的sql語言進(jìn)行數(shù)據(jù)讀取的，它需要對(duì)sql與越南進(jìn)行解析，同時(shí)還有對(duì)表的鎖定和解鎖等這樣的額外開銷，這里并不是說關(guān)系型數(shù)據(jù)庫(kù)的速度太慢，而只是想告訴大家若希望對(duì)簡(jiǎn)單查詢進(jìn)行高速處理，則沒有必要非使用關(guān)系型數(shù)據(jù)庫(kù)不可。
NoSQL數(shù)據(jù)庫(kù)
關(guān)系型數(shù)據(jù)庫(kù)應(yīng)用廣泛，能進(jìn)行事務(wù)處理和表連接等復(fù)雜查詢。相對(duì)地，NoSQL數(shù)據(jù)庫(kù)只應(yīng)用在特定領(lǐng)域，基本上不進(jìn)行復(fù)雜的處理，但它恰恰彌補(bǔ)了之前所列舉的關(guān)系型數(shù)據(jù)庫(kù)的不足之處。
優(yōu)點(diǎn)：
易于數(shù)據(jù)的分散
各個(gè)數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫(kù)得名的主要原因，為了進(jìn)行join處理，關(guān)系型數(shù)據(jù)庫(kù)不得不把數(shù)據(jù)存儲(chǔ)在同一個(gè)服務(wù)器內(nèi)，這不利于數(shù)據(jù)的分散，這也是關(guān)系型數(shù)據(jù)庫(kù)并不擅長(zhǎng)大數(shù)據(jù)量的寫入處理的原因。相反NoSQL數(shù)據(jù)庫(kù)原本就不支持Join處理，各個(gè)數(shù)據(jù)都是獨(dú)立設(shè)計(jì)的，很容易把數(shù)據(jù)分散在多個(gè)服務(wù)器上，故減少了每個(gè)服務(wù)器上的數(shù)據(jù)量，即使要處理大量數(shù)據(jù)的寫入，也變得更加容易，數(shù)據(jù)的讀入操作當(dāng)然也同樣容易。
典型的NoSQL數(shù)據(jù)庫(kù)
臨時(shí)性鍵值存儲(chǔ)（memcached、Redis）、永久性鍵值存儲(chǔ)（ROMA、Redis）、面向文檔的數(shù)據(jù)庫(kù)（MongoDB、CouchDB）、面向列的數(shù)據(jù)庫(kù)（Cassandra、HBase）
一、 鍵值存儲(chǔ)
它的數(shù)據(jù)是以鍵值的形式存儲(chǔ)的，雖然它的速度非常快，但基本上只能通過鍵的完全一致查詢獲取數(shù)據(jù)，根據(jù)數(shù)據(jù)的保存方式可以分為臨時(shí)性、永久性和兩者兼具 三種。
（1）臨時(shí)性
所謂臨時(shí)性就是數(shù)據(jù)有可能丟失，memcached把所有數(shù)據(jù)都保存在內(nèi)存中，這樣保存和讀取的速度非?？?，但是當(dāng)memcached停止時(shí)，數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中，所以無法操作超出內(nèi)存容量的數(shù)據(jù)，舊數(shù)據(jù)會(huì)丟失。總結(jié)來說：
。在內(nèi)存中保存數(shù)據(jù)
。可以進(jìn)行非?？焖俚谋４婧妥x取處理
。數(shù)據(jù)有可能丟失
（2）永久性
所謂永久性就是數(shù)據(jù)不會(huì)丟失，這里的鍵值存儲(chǔ)是把數(shù)據(jù)保存在硬盤上，與臨時(shí)性比起來，由于必然要發(fā)生對(duì)硬盤的IO操作，所以性能上還是有差距的，但數(shù)據(jù)不會(huì)丟失是它最大的優(yōu)勢(shì)?？偨Y(jié)來說：
。在硬盤上保存數(shù)據(jù)
?？梢赃M(jìn)行非?？焖俚谋４婧妥x取處理（但無法與memcached相比）
。數(shù)據(jù)不會(huì)丟失
（3） 兩者兼?zhèn)?/p>
Redis屬于這種類型。Redis有些特殊，臨時(shí)性和永久性兼具。Redis首先把數(shù)據(jù)保存在內(nèi)存中，在滿足特定條件（默認(rèn)是?15分鐘一次以上，5分鐘內(nèi)10個(gè)以上，1分鐘內(nèi)10000個(gè)以上的鍵發(fā)生變更）的時(shí)候?qū)?shù)據(jù)寫入到硬盤中，這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度，又可以通過寫入硬盤來保證數(shù)據(jù)的永久性，這種類型的數(shù)據(jù)庫(kù)特別適合處理數(shù)組類型的數(shù)據(jù)?？偨Y(jié)來說：
。同時(shí)在內(nèi)存和硬盤上保存數(shù)據(jù)
。可以進(jìn)行非?？焖俚谋４婧妥x取處理
。保存在硬盤上的數(shù)據(jù)不會(huì)消失（可以恢復(fù)）
。適合于處理數(shù)組類型的數(shù)據(jù)
二、面向文檔的數(shù)據(jù)庫(kù)
MongoDB、CouchDB屬于這種類型，它們屬于NoSQL數(shù)據(jù)庫(kù)，但與鍵值存儲(chǔ)相異。
（1）不定義表結(jié)構(gòu)
即使不定義表結(jié)構(gòu)，也可以像定義了表結(jié)構(gòu)一樣使用，還省去了變更表結(jié)構(gòu)的麻煩。
（2）可以使用復(fù)雜的查詢條件
跟鍵值存儲(chǔ)不同的是，面向文檔的數(shù)據(jù)庫(kù)可以通過復(fù)雜的查詢條件來獲取數(shù)據(jù)，雖然不具備事務(wù)處理和Join這些關(guān)系型數(shù)據(jù)庫(kù)所具有的處理能力，但初次以外的其他處理基本上都能實(shí)現(xiàn)。
三、?面向列的數(shù)據(jù)庫(kù)
Cassandra、HBae、HyperTable屬于這種類型，由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長(zhǎng)，這種類型的NoSQL數(shù)據(jù)庫(kù)尤其引入注目。
普通的關(guān)系型數(shù)據(jù)庫(kù)都是以行為單位來存儲(chǔ)數(shù)據(jù)的，擅長(zhǎng)以行為單位的讀入處理，比如特定條件數(shù)據(jù)的獲取。因此，關(guān)系型數(shù)據(jù)庫(kù)也被成為面向行的數(shù)據(jù)庫(kù)。相反，面向列的數(shù)據(jù)庫(kù)是以列為單位來存儲(chǔ)數(shù)據(jù)的，擅長(zhǎng)以列為單位讀入數(shù)據(jù)。
面向列的數(shù)據(jù)庫(kù)具有搞擴(kuò)展性，即使數(shù)據(jù)增加也不會(huì)降低相應(yīng)的處理速度（特別是寫入速度），所以它主要應(yīng)用于需要處理大量數(shù)據(jù)的情況。另外，把它作為批處理程序的存儲(chǔ)器來對(duì)大量數(shù)據(jù)進(jìn)行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫(kù)跟現(xiàn)行數(shù)據(jù)庫(kù)存儲(chǔ)的思維方式有很大不同，故應(yīng)用起來十分困難。
總結(jié)：關(guān)系型數(shù)據(jù)庫(kù)與NoSQL數(shù)據(jù)庫(kù)并非對(duì)立而是互補(bǔ)的關(guān)系，即通常情況下使用關(guān)系型數(shù)據(jù)庫(kù)，在適合使用NoSQL的時(shí)候使用NoSQL數(shù)據(jù)庫(kù)，讓NoSQL數(shù)據(jù)庫(kù)對(duì)關(guān)系型數(shù)據(jù)庫(kù)的不足進(jìn)行彌補(bǔ)。
2. 什么是NoSQL？
2.1 NoSQL 概述
NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，
泛指非關(guān)系型的數(shù)據(jù)庫(kù)。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫(kù)則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫(kù)的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題，包括超大規(guī)模數(shù)據(jù)的存儲(chǔ)。
（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數(shù)據(jù)）。這些類型的數(shù)據(jù)存儲(chǔ)不需要固定的模式，無需多余操作就可以橫向擴(kuò)展。
2.2 NoSQL代表
MongDB、 Redis、Memcache
3. 關(guān)系型數(shù)據(jù)庫(kù)與NoSQL的區(qū)別？
3.1 RDBMS
高度組織化結(jié)構(gòu)化數(shù)據(jù)
結(jié)構(gòu)化查詢語言（SQL）
數(shù)據(jù)和關(guān)系都存儲(chǔ)在單獨(dú)的表中。
數(shù)據(jù)操縱語言，數(shù)據(jù)定義語言
嚴(yán)格的一致性
基礎(chǔ)事務(wù)
ACID
關(guān)系型數(shù)據(jù)庫(kù)遵循ACID規(guī)則
事務(wù)在英文中是transaction，和現(xiàn)實(shí)世界中的交易很類似，它有如下四個(gè)特性：
A (Atomicity) 原子性
原子性很容易理解，也就是說事務(wù)里的所有操作要么全部做完，要么都不做，事務(wù)成功的條件是事務(wù)里的所有操作都成功，只要有一個(gè)操作失敗，整個(gè)事務(wù)就失敗，需要回滾。比如銀行轉(zhuǎn)賬，從A賬戶轉(zhuǎn)100元至B賬戶，分為兩個(gè)步驟：1）從A賬戶取100元；2）存入100元至B賬戶。這兩步要么一起完成，要么一起不完成，如果只完成第一步，第二步失敗，錢會(huì)莫名其妙少了100元。
C (Consistency) 一致性
一致性也比較容易理解，也就是說數(shù)據(jù)庫(kù)要一直處于一致的狀態(tài)，事務(wù)的運(yùn)行不會(huì)改變數(shù)據(jù)庫(kù)原本的一致性約束。
I (Isolation) 獨(dú)立性
所謂的獨(dú)立性是指并發(fā)的事務(wù)之間不會(huì)互相影響，如果一個(gè)事務(wù)要訪問的數(shù)據(jù)正在被另外一個(gè)事務(wù)修改，只要另外一個(gè)事務(wù)未提交，它所訪問的數(shù)據(jù)就不受未提交事務(wù)的影響。比如現(xiàn)有有個(gè)交易是從A賬戶轉(zhuǎn)100元至B賬戶，在這個(gè)交易還未完成的情況下，如果此時(shí)B查詢自己的賬戶，是看不到新增加的100元的
D (Durability) 持久性
持久性是指一旦事務(wù)提交后，它所做的修改將會(huì)永久的保存在數(shù)據(jù)庫(kù)上，即使出現(xiàn)宕機(jī)也不會(huì)丟失。
3.2 NoSQL
代表著不僅僅是SQL
沒有聲明性查詢語言
沒有預(yù)定義的模式
鍵 - 值對(duì)存儲(chǔ)，列存儲(chǔ)，文檔存儲(chǔ)，圖形數(shù)據(jù)庫(kù)
最終一致性，而非ACID屬性
非結(jié)構(gòu)化和不可預(yù)知的數(shù)據(jù)
CAP定理
高性能，高可用性和可伸縮性
分布式數(shù)據(jù)庫(kù)中的CAP原理(了解)
CAP定理：
Consistency(一致性), 數(shù)據(jù)一致更新，所有數(shù)據(jù)變動(dòng)都是同步的
Availability(可用性), 好的響應(yīng)性能
Partition tolerance(分區(qū)容錯(cuò)性) 可靠性
P: 系統(tǒng)中任意信息的丟失或失敗不會(huì)影響系統(tǒng)的繼續(xù)運(yùn)作。
定理：任何分布式系統(tǒng)只可同時(shí)滿足二點(diǎn)，沒法三者兼顧。
CAP理論的核心是：一個(gè)分布式系統(tǒng)不可能同時(shí)很好的滿足一致性，可用性和分區(qū)容錯(cuò)性這三個(gè)需求，
因此，根據(jù) CAP 原理將 NoSQL 數(shù)據(jù)庫(kù)分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類：
CA - 單點(diǎn)集群，滿足一致性，可用性的系統(tǒng)，通常在可擴(kuò)展性上不太強(qiáng)大。
CP - 滿足一致性，分區(qū)容忍性的系統(tǒng)，通常性能不是特別高。
AP - 滿足可用性，分區(qū)容忍性的系統(tǒng)，通?？赡軐?duì)一致性要求低一些。
CAP理論就是說在分布式存儲(chǔ)系統(tǒng)中，最多只能實(shí)現(xiàn)上面的兩點(diǎn)。
而由于當(dāng)前的網(wǎng)絡(luò)硬件肯定會(huì)出現(xiàn)延遲丟包等問題，所以分區(qū)容忍性是我們必須需要實(shí)現(xiàn)的。
所以我們只能在一致性和可用性之間進(jìn)行權(quán)衡，沒有NoSQL系統(tǒng)能同時(shí)保證這三點(diǎn)。
說明：C：強(qiáng)一致性 A：高可用性 P：分布式容忍性
舉例：
CA：傳統(tǒng)Oracle數(shù)據(jù)庫(kù)
AP：大多數(shù)網(wǎng)站架構(gòu)的選擇
CP：Redis、Mongodb
注意：分布式架構(gòu)的時(shí)候必須做出取舍。
一致性和可用性之間取一個(gè)平衡。多余大多數(shù)web應(yīng)用，其實(shí)并不需要強(qiáng)一致性。
因此犧牲C換取P，這是目前分布式數(shù)據(jù)庫(kù)產(chǎn)品的方向。
4. 當(dāng)下NoSQL的經(jīng)典應(yīng)用
當(dāng)下的應(yīng)用是 SQL 與 NoSQL 一起使用的。
代表項(xiàng)目：阿里巴巴商品信息的存放。
去 IOE 化。
ps：I 是指 IBM 的小型機(jī)，很貴的，好像好幾萬一臺(tái)；O 是指 Oracle 數(shù)據(jù)庫(kù)，也很貴的，好幾萬呢；M 是指 EMC 的存儲(chǔ)設(shè)備，也很貴的。
難點(diǎn)：
數(shù)據(jù)類型多樣性。
數(shù)據(jù)源多樣性和變化重構(gòu)。
數(shù)據(jù)源改造而服務(wù)平臺(tái)不需要大面積重構(gòu)。
何玩轉(zhuǎn) NoSQL數(shù)據(jù)庫(kù)作者：IT專家中國(guó) Weather公司CIO Bryson Koehler整理MongoDBRiakCassandra等NoSQL數(shù)據(jù)庫(kù)特性指其重要特性NoSQL限制住 Weather公司致力于氣報(bào)告氣預(yù)報(bào)業(yè)務(wù)其并缺乏數(shù)據(jù)缺乏數(shù)據(jù)管理工具需要三種同NoSQL數(shù)據(jù)庫(kù) 近我向Weather 公司CIO Bryson Koehler提疑問除公司CIO,Bryson Koehler其業(yè)務(wù)單元孵化者,包括Weather ChannelWeatherFXWeather UndergroundIntellicast等Weather公司每獲取處理著約二0萬億字節(jié)數(shù)據(jù)外提供前全球氣狀況并航空公司緊中國(guó)服務(wù)貨運(yùn)商公用事業(yè)保險(xiǎn)及線氣中國(guó)站氣應(yīng)用程序用戶提供氣預(yù)報(bào)服務(wù)每需求增加數(shù)十億氣數(shù)據(jù)請(qǐng)求并且預(yù)期響應(yīng)間要一0毫秒左右 RiakWeather 公司臺(tái)NoSQL數(shù)據(jù)庫(kù)服務(wù)于公司事務(wù)性存儲(chǔ)公用中國(guó)絡(luò)(SUN)數(shù)據(jù)獲取平臺(tái)運(yùn)行亞馬遜中國(guó)絡(luò)服務(wù)(AWS)用區(qū)域并每一5頻率捕獲超二0億氣象數(shù)據(jù)信息所Riak具明確處理規(guī)模該公司使用Cassandra及新近添加MongoDB數(shù)據(jù)庫(kù)Weather中國(guó) IOSAndroid移應(yīng)用程序服務(wù) Weather 公司使用同產(chǎn)品Koehler解釋說同工具同優(yōu)勢(shì) Cassandra服務(wù)于Weather 公司及全球消費(fèi)者使用第三氣應(yīng)用API數(shù)據(jù)：我數(shù)據(jù)發(fā)平臺(tái)每秒處理數(shù)十萬事務(wù)我發(fā)現(xiàn)Cassandra用于全球發(fā)數(shù)據(jù)棒解決案并且[數(shù)據(jù)庫(kù)]讀取面體現(xiàn)高用性 本質(zhì)全球各消費(fèi)者所使用數(shù)據(jù)服務(wù)包括Weather 公司第三氣應(yīng)用程序 MongoDB提供Weather中國(guó)中國(guó)站移應(yīng)用程序間層緩存功能：離我核API我沒全部Weather中國(guó)內(nèi)容所MongoDB容器發(fā)站W(wǎng)eather中國(guó)及AndroidiOS移應(yīng)用程序服務(wù)Mongo處些處基于其內(nèi)建JSON格式及靈性 Riak用于消費(fèi)氣象數(shù)據(jù)觀測(cè)包括自世界各圖片視頻等：我喜Riak其優(yōu)秀數(shù)據(jù)攝取能力且種全球布式式實(shí)現(xiàn)于全球布式平臺(tái)獲取數(shù)據(jù)入站式數(shù)據(jù)庫(kù)真靠選擇 我曾聽說DatastaxBashoCouchbase高管貶低MongoDB擴(kuò)展性MongoDB指向規(guī)模部署Facebook超二00萬臺(tái)移設(shè)備應(yīng)用程序提供支持eHarmony公司MongDB每處理著數(shù)十億潛比賽預(yù)約據(jù)Koehle所述MongoDBWeather中國(guó)Weather中國(guó)移應(yīng)用程序處理著每十億交易毫疑問通配置部署Mongo處理批量交易數(shù)據(jù) 盡管Koehler承認(rèn)樂于看MongoDB繼續(xù)使全球集群位置[功能]更加縫化且易于使用 些屬于全球性布式集群復(fù)制負(fù)載平衡CassandraRiak眾所周知功能 規(guī)模討論角度看少公司達(dá)Weather公司經(jīng)營(yíng)規(guī)模易于發(fā)架構(gòu)靈性JSON數(shù)據(jù)處理使MongoDB世界流行NoSQL數(shù)據(jù)庫(kù)微軟IBM都進(jìn)行MongoDB模仿微軟Azure DocumentDBIBM CloudantCassandraRiak Weather公司三NoSQL標(biāo)準(zhǔn)降低至兩程鞏固Koehler說公司沒準(zhǔn)備做 由于我構(gòu)造由許同數(shù)據(jù)解決案組中國(guó)狀結(jié)構(gòu)我目前環(huán)境已于復(fù)雜說我希望給團(tuán)隊(duì)些自由空間讓我解所選擇利弊看些整合 候遷移件難事關(guān)于NoSQL數(shù)據(jù)庫(kù)重要事情困其 Koehler說架構(gòu)編碼確數(shù)據(jù)庫(kù)遷移另并難隨著模式自由及數(shù)據(jù)轉(zhuǎn)存技術(shù)發(fā)展論前者key-value存儲(chǔ)或其形式轉(zhuǎn)儲(chǔ)數(shù)據(jù)都十容易 特定產(chǎn)品進(jìn)程自定義編碼復(fù)雜存儲(chǔ)程已經(jīng)復(fù)返Koehler說關(guān)于結(jié)構(gòu)化編碼確需要考慮?做避免特殊供應(yīng)商提供工具功能能讓身陷其舉亞馬遜中國(guó)絡(luò)服務(wù)(AWS)消息服務(wù)例 必讓服務(wù)云運(yùn)行解釋說部署自RabbitMQ環(huán)境陷于其所原先部署AWS 應(yīng)用程序轉(zhuǎn)部署谷歌計(jì)算云服務(wù)論數(shù)據(jù)平臺(tái)存儲(chǔ)環(huán)境或云計(jì)算環(huán)境都要?jiǎng)e讓自局限僅由供應(yīng)商提供范圍空間內(nèi) 轉(zhuǎn)
作者 | 網(wǎng)絡(luò)大數(shù)據(jù)
來源 | 產(chǎn)業(yè)智能官
數(shù)據(jù)處理是對(duì)紛繁復(fù)雜的海量數(shù)據(jù)價(jià)值的提煉，而其中最有價(jià)值的地方在于預(yù)測(cè)性分析，即可以通過數(shù)據(jù)可視化、統(tǒng)計(jì)模式識(shí)別、數(shù)據(jù)描述等數(shù)據(jù)挖掘形式幫助數(shù)據(jù)科學(xué)家更好的理解數(shù)據(jù)，根據(jù)數(shù)據(jù)挖掘的結(jié)果得出預(yù)測(cè)性決策。其中主要工作環(huán)節(jié)包括：
大數(shù)據(jù)采集 大數(shù)據(jù)預(yù)處理 大數(shù)據(jù)存儲(chǔ)及管理 大數(shù)據(jù)分析及挖掘 大數(shù)據(jù)展現(xiàn)和應(yīng)用(大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等)。
一、大數(shù)據(jù)采集技術(shù)
數(shù)據(jù)是指通過RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化(或稱之為弱結(jié)構(gòu)化)及非結(jié)構(gòu)化的海量數(shù)據(jù)，是大數(shù)據(jù)知識(shí)服務(wù)模型的根本。重點(diǎn)要突破分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術(shù);突破高速數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù);設(shè)計(jì)質(zhì)量評(píng)估模型，開發(fā)數(shù)據(jù)質(zhì)量技術(shù)。
大數(shù)據(jù)采集一般分為：
大數(shù)據(jù)智能感知層：主要包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識(shí)別體系及軟硬件資源接入系統(tǒng)，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識(shí)別、定位、跟蹤、接入、傳輸、信號(hào)轉(zhuǎn)換、監(jiān)控、初步處理和管理等。必須著重攻克針對(duì)大數(shù)據(jù)源的智能識(shí)別、感知、適配、傳輸、接入等技術(shù)。
基礎(chǔ)支撐層：提供大數(shù)據(jù)服務(wù)平臺(tái)所需的虛擬服務(wù)器，結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫(kù)及物聯(lián)網(wǎng)絡(luò)資源等基礎(chǔ)支撐環(huán)境。重點(diǎn)攻克分布式虛擬存儲(chǔ)技術(shù)，大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策操作的可視化接口技術(shù)，大數(shù)據(jù)的網(wǎng)絡(luò)傳輸與壓縮技術(shù)，大數(shù)據(jù)隱私保護(hù)技術(shù)等。
二、大數(shù)據(jù)預(yù)處理技術(shù)
完成對(duì)已接收數(shù)據(jù)的辨析、抽取、清洗等操作。
抽?。阂颢@取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以幫助我們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達(dá)到快速分析處理的目的。
清洗：對(duì)于大數(shù)據(jù)，并不全是有價(jià)值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯(cuò)誤的干擾項(xiàng)，因此要對(duì)數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)。
三、大數(shù)據(jù)存儲(chǔ)及管理技術(shù)
大數(shù)據(jù)存儲(chǔ)與管理要用存儲(chǔ)器把采集到的數(shù)據(jù)存儲(chǔ)起來，建立相應(yīng)的數(shù)據(jù)庫(kù)，并進(jìn)行管理和調(diào)用。重點(diǎn)解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)。主要解決大數(shù)據(jù)的可存儲(chǔ)、可表示、可處理、可靠性及有效傳輸?shù)葞讉€(gè)關(guān)鍵問題。開發(fā)可靠的分布式文件系統(tǒng)(DFS)、能效優(yōu)化的存儲(chǔ)、計(jì)算融入存儲(chǔ)、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲(chǔ)技術(shù);突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù);突破大數(shù)據(jù)索引技術(shù);突破大數(shù)據(jù)移動(dòng)、備份、復(fù)制等技術(shù);開發(fā)大數(shù)據(jù)可視化技術(shù)。
開發(fā)新型數(shù)據(jù)庫(kù)技術(shù)，數(shù)據(jù)庫(kù)分為關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)以及數(shù)據(jù)庫(kù)緩存系統(tǒng)。其中，非關(guān)系型數(shù)據(jù)庫(kù)主要指的是NoSQL數(shù)據(jù)庫(kù)，分為：鍵值數(shù)據(jù)庫(kù)、列存數(shù)據(jù)庫(kù)、圖存數(shù)據(jù)庫(kù)以及文檔數(shù)據(jù)庫(kù)等類型。關(guān)系型數(shù)據(jù)庫(kù)包含了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)以及NewSQL數(shù)據(jù)庫(kù)。
開發(fā)大數(shù)據(jù)安全技術(shù)：改進(jìn)數(shù)據(jù)銷毀、透明加解密、分布式訪問控制、數(shù)據(jù)審計(jì)等技術(shù);突破隱私保護(hù)和推理控制、數(shù)據(jù)真?zhèn)巫R(shí)別和取證、數(shù)據(jù)持有完整性驗(yàn)證等技術(shù)。
四、大數(shù)據(jù)分析及挖掘技術(shù)
大數(shù)據(jù)分析技術(shù)：改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù);開發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù);突破基于對(duì)象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù);突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。
數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。
數(shù)據(jù)挖掘涉及的技術(shù)方法很多，有多種分類法。根據(jù)挖掘任務(wù)可分為分類或預(yù)測(cè)模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關(guān)系或依賴模型發(fā)現(xiàn)、異常和趨勢(shì)發(fā)現(xiàn)等等;根據(jù)挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)態(tài)數(shù)據(jù)庫(kù)、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫(kù)、異質(zhì)數(shù)據(jù)庫(kù)、遺產(chǎn)數(shù)據(jù)庫(kù)以及環(huán)球網(wǎng)Web;根據(jù)挖掘方法分，可粗分為:機(jī)器學(xué)習(xí)方法、統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫(kù)方法。
機(jī)器學(xué)習(xí)中，可細(xì)分為歸納學(xué)習(xí)方法(決策樹、規(guī)則歸納等)、基于范例學(xué)習(xí)、遺傳算法等。統(tǒng)計(jì)方法中，可細(xì)分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等)、聚類分析(系統(tǒng)聚類、動(dòng)態(tài)聚類等)、探索性分析(主元分析法、相關(guān)分析法等)等。神經(jīng)網(wǎng)絡(luò)方法中，可細(xì)分為:前向神經(jīng)網(wǎng)絡(luò)(BP算法等)、自組織神經(jīng)網(wǎng)絡(luò)(自組織特征映射、競(jìng)爭(zhēng)學(xué)習(xí)等)等。數(shù)據(jù)庫(kù)方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向?qū)傩缘臍w納方法。
數(shù)據(jù)挖掘主要過程是：根據(jù)分析挖掘目標(biāo)，從數(shù)據(jù)庫(kù)中把數(shù)據(jù)提取出來，然后經(jīng)過ETL組織成適合分析挖掘算法使用寬表，然后利用數(shù)據(jù)挖掘軟件進(jìn)行挖掘。傳統(tǒng)的數(shù)據(jù)挖掘軟件，一般只能支持在單機(jī)上進(jìn)行小規(guī)模數(shù)據(jù)處理,受此限制傳統(tǒng)數(shù)據(jù)分析挖掘一般會(huì)采用抽樣方式來減少數(shù)據(jù)分析規(guī)模。
數(shù)據(jù)挖掘的計(jì)算復(fù)雜度和靈活度遠(yuǎn)遠(yuǎn)超過前兩類需求。一是由于數(shù)據(jù)挖掘問題開放性，導(dǎo)致數(shù)據(jù)挖掘會(huì)涉及大量衍生變量計(jì)算，衍生變量多變導(dǎo)致數(shù)據(jù)預(yù)處理計(jì)算復(fù)雜性;二是很多數(shù)據(jù)挖掘算法本身就比較復(fù)雜，計(jì)算量就很大，特別是大量機(jī)器學(xué)習(xí)算法，都是迭代計(jì)算，需要通過多次迭代來求最優(yōu)解，例如K-means聚類算法、PageRank算法等。
從挖掘任務(wù)和挖掘方法的角度，著重突破：
可視化分析。數(shù)據(jù)可視化無論對(duì)于普通用戶或是數(shù)據(jù)分析專家，都是最基本的功能。數(shù)據(jù)圖像化可以讓數(shù)據(jù)自己說話，讓用戶直觀的感受到結(jié)果。 數(shù)據(jù)挖掘算法。圖像化是將機(jī)器語言翻譯給人看，而數(shù)據(jù)挖掘就是機(jī)器的母語。分割、集群、孤立點(diǎn)分析還有各種各樣五花八門的算法讓我們精煉數(shù)據(jù)，挖掘價(jià)值。這些算法一定要能夠應(yīng)付大數(shù)據(jù)的量，同時(shí)還具有很高的處理速度。 預(yù)測(cè)性分析。預(yù)測(cè)性分析可以讓分析師根據(jù)圖像化分析和數(shù)據(jù)挖掘的結(jié)果做出一些前瞻性判斷。 語義引擎。語義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。語言處理技術(shù)包括機(jī)器翻譯、情感分析、輿情分析、智能輸入、問答系統(tǒng)等。 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。數(shù)據(jù)質(zhì)量與管理是管理的最佳實(shí)踐，透過標(biāo)準(zhǔn)化流程和機(jī)器對(duì)數(shù)據(jù)進(jìn)行處理可以確保獲得一個(gè)預(yù)設(shè)質(zhì)量的分析結(jié)果。
預(yù)測(cè)分析成功的7個(gè)秘訣
預(yù)測(cè)未來一直是一個(gè)冒險(xiǎn)的命題。幸運(yùn)的是，預(yù)測(cè)分析技術(shù)的出現(xiàn)使得用戶能夠基于歷史數(shù)據(jù)和分析技術(shù)(如統(tǒng)計(jì)建模和機(jī)器學(xué)習(xí))預(yù)測(cè)未來的結(jié)果，這使得預(yù)測(cè)結(jié)果和趨勢(shì)變得比過去幾年更加可靠。
盡管如此，與任何新興技術(shù)一樣，想要充分發(fā)揮預(yù)測(cè)分析的潛力也是很難的。而可能使挑戰(zhàn)變得更加復(fù)雜的是，由不完善的策略或預(yù)測(cè)分析工具的誤用導(dǎo)致的不準(zhǔn)確或誤導(dǎo)性的結(jié)果可能在幾周、幾個(gè)月甚至幾年內(nèi)才會(huì)顯現(xiàn)出來。
預(yù)測(cè)分析有可能徹底改變?cè)S多的行業(yè)和業(yè)務(wù)，包括零售、制造、供應(yīng)鏈、網(wǎng)絡(luò)管理、金融服務(wù)和醫(yī)療保健。AI網(wǎng)絡(luò)技術(shù)公司Mist Systems的聯(lián)合創(chuàng)始人、首席技術(shù)官Bob fridy預(yù)測(cè):“深度學(xué)習(xí)和預(yù)測(cè)性AI分析技術(shù)將會(huì)改變我們社會(huì)的所有部分，就像十年來互聯(lián)網(wǎng)和蜂窩技術(shù)所帶來的轉(zhuǎn)變一樣?！?。
這里有七個(gè)建議，旨在幫助您的組織充分利用其預(yù)測(cè)分析計(jì)劃。
1.能夠訪問高質(zhì)量、易于理解的數(shù)據(jù)
預(yù)測(cè)分析應(yīng)用程序需要大量數(shù)據(jù)，并依賴于通過反饋循環(huán)提供的信息來不斷改進(jìn)。全球IT解決方案和服務(wù)提供商Infotech的首席數(shù)據(jù)和分析官Soumendra Mohanty評(píng)論道:“數(shù)據(jù)和預(yù)測(cè)分析之間是相互促進(jìn)的關(guān)系?！?/p>
了解流入預(yù)測(cè)分析模型的數(shù)據(jù)類型非常重要?！耙粋€(gè)人身上會(huì)有什么樣的數(shù)據(jù)?” Eric Feigl - Ding問道，他是流行病學(xué)家、營(yíng)養(yǎng)學(xué)家和健康經(jīng)濟(jì)學(xué)家，目前是哈佛陳氏公共衛(wèi)生學(xué)院的訪問科學(xué)家?！笆敲刻於荚贔acebook和谷歌上收集的實(shí)時(shí)數(shù)據(jù)，還是難以訪問的醫(yī)療記錄所需的醫(yī)療數(shù)據(jù)?”為了做出準(zhǔn)確的預(yù)測(cè)，模型需要被設(shè)計(jì)成能夠處理它所吸收的特定類型的數(shù)據(jù)。
簡(jiǎn)單地將大量數(shù)據(jù)扔向計(jì)算資源的預(yù)測(cè)建模工作注定會(huì)失敗?！坝捎诖嬖诖罅繑?shù)據(jù)，而其中大部分?jǐn)?shù)據(jù)可能與特定問題無關(guān)，只是在給定樣本中可能存在相關(guān)關(guān)系，”FactSet投資組合管理和交易解決方案副總裁兼研究主管Henri Waelbroeck解釋道，F(xiàn)actSet是一家金融數(shù)據(jù)和軟件公司?！叭绻涣私猱a(chǎn)生數(shù)據(jù)的過程，一個(gè)在有偏見的數(shù)據(jù)上訓(xùn)練的模型可能是完全錯(cuò)誤的?！?/p>
2.找到合適的模式
SAP高級(jí)分析產(chǎn)品經(jīng)理Richard Mooney指出，每個(gè)人都癡迷于算法，但是算法必須和輸入到算法中的數(shù)據(jù)一樣好?！叭绻也坏竭m合的模式，那么他們就毫無用處，”他寫道?！按蠖鄶?shù)數(shù)據(jù)集都有其隱藏的模式?！?/p>
模式通常以兩種方式隱藏:
模式位于兩列之間的關(guān)系中。例如，可以通過即將進(jìn)行的交易的截止日期信息與相關(guān)的電子郵件開盤價(jià)數(shù)據(jù)進(jìn)行比較來發(fā)現(xiàn)一種模式。Mooney說:“如果交易即將結(jié)束，電子郵件的公開率應(yīng)該會(huì)大幅提高，因?yàn)橘I方會(huì)有很多人需要閱讀并審查合同?！?/p>
模式顯示了變量隨時(shí)間變化的關(guān)系?！耙陨厦娴睦訛槔?，了解客戶打開了200次電子郵件并不像知道他們?cè)谏现艽蜷_了175次那樣有用，”Mooney說。
3 .專注于可管理的任務(wù)，這些任務(wù)可能會(huì)帶來積極的投資回報(bào)
紐約理工學(xué)院的分析和商業(yè)智能主任Michael Urmeneta稱:“如今，人們很想把機(jī)器學(xué)習(xí)算法應(yīng)用到海量數(shù)據(jù)上，以期獲得更深刻的見解。”他說，這種方法的問題在于，它就像試圖一次治愈所有形式的癌癥一樣。Urmeneta解釋說:“這會(huì)導(dǎo)致問題太大，數(shù)據(jù)太亂——沒有足夠的資金和足夠的支持。這樣是不可能獲得成功的。”
而當(dāng)任務(wù)相對(duì)集中時(shí)，成功的可能性就會(huì)大得多。Urmeneta指出:“如果有問題的話，我們很可能會(huì)接觸到那些能夠理解復(fù)雜關(guān)系的專家” ?！斑@樣，我們就很可能會(huì)有更清晰或更好理解的數(shù)據(jù)來進(jìn)行處理?！?/p>
4.使用正確的方法來完成工作
好消息是，幾乎有無數(shù)的方法可以用來生成精確的預(yù)測(cè)分析。然而，這也是個(gè)壞消息。芝加哥大學(xué)NORC (前國(guó)家意見研究中心)的行為、經(jīng)濟(jì)分析和決策實(shí)踐主任Angela Fontes說:“每天都有新的、熱門的分析方法出現(xiàn)，使用新方法很容易讓人興奮”?！叭欢?，根據(jù)我的經(jīng)驗(yàn)，最成功的項(xiàng)目是那些真正深入思考分析結(jié)果并讓其指導(dǎo)他們選擇方法的項(xiàng)目——即使最合適的方法并不是最性感、最新的方法?！?/p>
羅切斯特理工學(xué)院計(jì)算機(jī)工程系主任、副教授shanchie Jay Yang建議說:“用戶必須謹(jǐn)慎選擇適合他們需求的方法”?！氨仨殦碛幸环N高效且可解釋的技術(shù)，一種可以利用序列數(shù)據(jù)、時(shí)間數(shù)據(jù)的統(tǒng)計(jì)特性，然后將其外推到最有可能的未來，”Yang說。
5.用精確定義的目標(biāo)構(gòu)建模型
這似乎是顯而易見的，但許多預(yù)測(cè)分析項(xiàng)目開始時(shí)的目標(biāo)是構(gòu)建一個(gè)宏偉的模型，卻沒有一個(gè)明確的最終使用計(jì)劃?！坝泻芏嗪馨舻哪Ｐ蛷膩頉]有被人使用過，因?yàn)闆]有人知道如何使用這些模型來實(shí)現(xiàn)或提供價(jià)值，”汽車、保險(xiǎn)和碰撞修復(fù)行業(yè)的SaaS提供商CCC信息服務(wù)公司的產(chǎn)品管理高級(jí)副總裁Jason Verlen評(píng)論道。
對(duì)此，F(xiàn)ontes也表示同意?！笆褂谜_的工具肯定會(huì)確保我們從分析中得到想要的結(jié)果……”因?yàn)檫@迫使我們必須對(duì)自己的目標(biāo)非常清楚，”她解釋道?！叭绻覀儾磺宄治龅哪繕?biāo)，就永遠(yuǎn)也不可能真正得到我們想要的東西?！?/p>
6.在IT和相關(guān)業(yè)務(wù)部門之間建立密切的合作關(guān)系
在業(yè)務(wù)和技術(shù)組織之間建立牢固的合作伙伴關(guān)系是至關(guān)重要的?？蛻趔w驗(yàn)技術(shù)提供商Genesys的人工智能產(chǎn)品管理副總裁Paul lasserr說:“你應(yīng)該能夠理解新技術(shù)如何應(yīng)對(duì)業(yè)務(wù)挑戰(zhàn)或改善現(xiàn)有的業(yè)務(wù)環(huán)境?！比缓?，一旦設(shè)置了目標(biāo)，就可以在一個(gè)限定范圍的應(yīng)用程序中測(cè)試模型，以確定解決方案是否真正提供了所需的價(jià)值。
7.不要被設(shè)計(jì)不良的模型誤導(dǎo)
模型是由人設(shè)計(jì)的，所以它們經(jīng)常包含著潛在的缺陷。錯(cuò)誤的模型或使用不正確或不當(dāng)?shù)臄?shù)據(jù)構(gòu)建的模型很容易產(chǎn)生誤導(dǎo)，在極端情況下，甚至?xí)a(chǎn)生完全錯(cuò)誤的預(yù)測(cè)。
沒有實(shí)現(xiàn)適當(dāng)隨機(jī)化的選擇偏差會(huì)混淆預(yù)測(cè)。例如，在一項(xiàng)假設(shè)的減肥研究中，可能有50%的參與者選擇退出后續(xù)的體重測(cè)量。然而，那些中途退出的人與留下來的人有著不同的體重軌跡。這使得分析變得復(fù)雜，因?yàn)樵谶@樣的研究中，那些堅(jiān)持參加這個(gè)項(xiàng)目的人通常是那些真正減肥的人。另一方面，戒煙者通常是那些很少或根本沒有減肥經(jīng)歷的人。因此，雖然減肥在整個(gè)世界都是具有因果性和可預(yù)測(cè)性的，但在一個(gè)有50%退出率的有限數(shù)據(jù)庫(kù)中，實(shí)際的減肥結(jié)果可能會(huì)被隱藏起來。
六、大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)
大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識(shí)挖掘出來，為人類的社會(huì)經(jīng)濟(jì)活動(dòng)提供依據(jù)，從而提高各個(gè)領(lǐng)域的運(yùn)行效率，大大提高整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度。
在我國(guó)，大數(shù)據(jù)將重點(diǎn)應(yīng)用于以下三大領(lǐng)域：商業(yè)智能 、政府決策、公共服務(wù)。例如：商業(yè)智能技術(shù)，政府決策技術(shù)，電信數(shù)據(jù)信息處理與挖掘技術(shù)，電網(wǎng)數(shù)據(jù)信息處理與挖掘技術(shù)，氣象信息分析技術(shù)，環(huán)境監(jiān)測(cè)技術(shù)，警務(wù)云應(yīng)用系統(tǒng)(道路監(jiān)控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、智能交通、反電信詐騙、指揮調(diào)度等公安信息系統(tǒng))，大規(guī)?；蛐蛄蟹治霰葘?duì)技術(shù)，Web信息挖掘技術(shù)，多媒體數(shù)據(jù)并行化處理技術(shù)，影視制作渲染技術(shù)，其他各種行業(yè)的云計(jì)算和海量數(shù)據(jù)處理應(yīng)用技術(shù)等。
什么是NoSQL數(shù)據(jù)庫(kù)？從名稱“非SQL”或“非關(guān)系型”衍生而來，這些數(shù)據(jù)庫(kù)不使用類似SQL的查詢語言，通常稱為結(jié)構(gòu)化存儲(chǔ)。這些數(shù)據(jù)庫(kù)自1960年就已經(jīng)存在，但是直到現(xiàn)在一些大公司（例如Google和Facebook）開始使用它們時(shí)，這些數(shù)據(jù)庫(kù)才流行起來。該數(shù)據(jù)庫(kù)最明顯的優(yōu)勢(shì)是擺脫了一組固定的列、連接和類似SQL的查詢語言的限制。有時(shí)，NoSQL這個(gè)名稱也可能表示“不僅僅SQL”，來確保它們可能支持SQL。 NoSQL數(shù)據(jù)庫(kù)使用諸如鍵值、寬列、圖形或文檔之類的數(shù)據(jù)結(jié)構(gòu)，并且可以如JSON之類的不同格式存儲(chǔ)。
重慶分公司
重慶分公司
