Web1.0的時代,數(shù)據(jù)訪問量很有限,用一夫當關(guān)的高性能的單點服務(wù)器可以解決大部分問題。
為津市等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù),及津市網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為網(wǎng)站建設(shè)、成都網(wǎng)站制作、津市網(wǎng)站設(shè)計,以傳統(tǒng)方式定制建設(shè)網(wǎng)站,并提供域名空間備案等一條龍服務(wù),秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達到每一位用戶的要求,就會得到認可,從而選擇與我們長期合作。這樣,我們也可以走得更遠!
隨著Web2.0的時代的到來,用戶訪問量大幅度提升,同時產(chǎn)生了大量的用戶數(shù)據(jù)。加上后來的智能移動設(shè)備的普及,所有的互聯(lián)網(wǎng)平臺都面臨了巨大的性能挑戰(zhàn)。
NoSQL(NoSQL = Not Only SQL ),意即“不僅僅是SQL”,泛指非關(guān)系型的數(shù)據(jù)庫。
NoSQL 不依賴業(yè)務(wù)邏輯方式存儲,而以簡單的key-value模式存儲。因此大大的增加了數(shù)據(jù)庫的擴展能力。
Memcache Memcache Redis Redis MongoDB MongoDB 列式數(shù)據(jù)庫 列式數(shù)據(jù)庫 Hbase Hbase
HBase是Hadoop項目中的數(shù)據(jù)庫。它用于需要對大量的數(shù)據(jù)進行隨機、實時的讀寫操作的場景中。
HBase的目標就是處理數(shù)據(jù)量非常龐大的表,可以用普通的計算機處理超過10億行數(shù)據(jù),還可處理有數(shù)百萬列元素的數(shù)據(jù)表。
Cassandra Cassandra
Apache Cassandra是一款免費的開源NoSQL數(shù)據(jù)庫,其設(shè)計目的在于管理由大量商用服務(wù)器構(gòu)建起來的龐大集群上的海量數(shù)據(jù)集(數(shù)據(jù)量通常達到PB級別)。在眾多顯著特性當中,Cassandra最為卓越的長處是對寫入及讀取操作進行規(guī)模調(diào)整,而且其不強調(diào)主集群的設(shè)計思路能夠以相對直觀的方式簡化各集群的創(chuàng)建與擴展流程。
主要應(yīng)用:社會關(guān)系,公共交通網(wǎng)絡(luò),地圖及網(wǎng)絡(luò)拓譜(n*(n-1)/2)
每種nosql都有自己的語法。跟t-sql類數(shù)據(jù)庫的方式類似。但。不是用sql語句。而是他自身定義的讀取語句
一般將NoSQL數(shù)據(jù)庫分為四大類:鍵值(Key-Value)存儲數(shù)據(jù)庫、列存儲數(shù)據(jù)庫、文檔型數(shù)據(jù)庫和圖形(Graph)數(shù)據(jù)庫。它們的數(shù)據(jù)模型、優(yōu)缺點、典型應(yīng)用場景。
鍵值(Key-Value)存儲數(shù)據(jù)庫Key指向Value的鍵值對,通常用hash表來實現(xiàn)查找速度快數(shù)據(jù)無結(jié)構(gòu)化(通常只被當作字符串或者二進制數(shù)據(jù))內(nèi)容緩存,主要用于處理大量數(shù)據(jù)的高訪問負載,也用于一些日志系統(tǒng)等。
列存儲數(shù)據(jù)庫,以列簇式存儲,將同一列數(shù)據(jù)存在一起查找速度快,可擴展性強,更容易進行分布式擴展功能相對局限分布式的文件系統(tǒng)。
文檔型數(shù)據(jù)庫,Key-Value對應(yīng)的鍵值對,Value為結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)結(jié)構(gòu)要求不嚴格,表結(jié)構(gòu)可變(不需要像關(guān)系型數(shù)據(jù)庫一樣需預(yù)先定義表結(jié)構(gòu)),查詢性能不高,而且缺乏統(tǒng)一的查詢語法,Web應(yīng)用。
圖形(Graph)數(shù)據(jù)庫,圖結(jié)構(gòu),利用圖結(jié)構(gòu)相關(guān)算法(如最短路徑尋址,N度關(guān)系查找等),很多時候需要對整個圖做計算才能得出需要的信息,而且這種結(jié)構(gòu)不太好做分布式的集群方案,社交網(wǎng)絡(luò),推薦系統(tǒng)等。
AWS推出了與SQL兼容的查詢語言PartiQL,只要數(shù)據(jù)庫查詢引擎提供PartiQL支持,使用者就能以PartiQL單一查詢關(guān)聯(lián)式數(shù)據(jù)庫的結(jié)構(gòu)化資料,以及開放資料格式中的巢狀資料或是半結(jié)構(gòu)化資料,甚至還能用來查詢NoSQL或是文件數(shù)據(jù)庫中無固定結(jié)構(gòu)(Schema-less)的資料。除了AWS自家的數(shù)據(jù)庫服務(wù),NoSQL數(shù)據(jù)庫Couchbase Server也承諾將會支持PartiQL。
企業(yè)資料分散在關(guān)聯(lián)式數(shù)據(jù)庫、非關(guān)聯(lián)式數(shù)據(jù)庫以及資料湖泊中。高度結(jié)構(gòu)化的資料,儲存在SQL數(shù)據(jù)庫或是資料倉儲;無固定結(jié)構(gòu)的資料則由鍵值儲存、圖形數(shù)據(jù)庫(Graph Database)、分類帳數(shù)據(jù)庫或是時間序列數(shù)據(jù)庫等NoSQL數(shù)據(jù)庫處理;而在資料湖泊中的資料,可能也有部分缺乏結(jié)構(gòu),或是可能為巢狀或是多值結(jié)構(gòu)。不同的資料類型適用于不同的使用案例,而每種類型的資料,可能都有自己的查詢語言。
不同的資料儲存對應(yīng)不同的查詢語言,當企業(yè)更換資料格式或是數(shù)據(jù)庫引擎時,可能還需要跟著改變應(yīng)用程式和查詢語法,AWS提到,這對于資料的應(yīng)用,特別是使用資料湖泊的靈活性與效率,有著很大的阻礙。為了統(tǒng)一不同類型數(shù)據(jù)庫存取方法,AWS發(fā)布了查詢語言PartiQL,這是個與SQL兼容的查詢語言,可以用來查詢以各種格式儲存在各地的資料。
用戶可以使用PartiQL來查詢關(guān)聯(lián)式數(shù)據(jù)庫,像是在Redshift實作交易或是資料分析等應(yīng)用,或?qū)τ贏mazon S3資料湖泊的開放資料格式,同樣能使用PartiQL對巢狀資料與半結(jié)構(gòu)化資料例如Amazon Ion格式進行查詢,另外,PartiQL也可用于文件數(shù)據(jù)庫等NoSQL數(shù)據(jù)庫,查詢無固定結(jié)構(gòu)的資料。
AWS表示,PartiQL的出現(xiàn),是為了滿足自家查詢和轉(zhuǎn)換大量資料的需求,其提供嚴格的SQL兼容性,可與標準SQL混合使用,執(zhí)行連接(Join)、過濾(Filtering)與聚合(Aggregation)操作,并以最小擴充支持巢狀和半結(jié)構(gòu)化資料,讓開發(fā)者以簡單且一致的方法,不需要更改查詢語言,就能查詢各種格式和服務(wù)的資料。
PartiQL具格式獨立性與儲存獨立性,PartiQL語法和語義不依賴任何資料格式,無論使用者是要查詢JSON、Parquet、ORC、CSV還是Ion等格式,查詢語句的寫法都相同,PartiQL的查詢在綜合邏輯類型系統(tǒng)上運作,才對應(yīng)到不同底層的格式。而PartiQL也不相依于特定資料儲存,因此適用于不同的底層資料儲存。
雖然過去針對跨不同類型數(shù)據(jù)庫查詢的問題,已有不少解決方案,AWS指出,像是Postgres JSON同樣也兼容于SQL,但是卻無法良好地處理JSON巢狀資料;而半結(jié)構(gòu)化查詢語言,雖然能良好處理巢狀資料,但卻無法與SQL語言兼容。AWS提到,PartiQL是第一個能夠完全解決這些問題的查詢語言。
目前AWS已在自家多項服務(wù)支持PartiQL,包括Amazon S3 Select、Amazon Glacier Select、Amazon Redshift Spectrum、Amazon QLDB,接下來幾個月將會有更多的AWS服務(wù)支持PartiQL,Couchbase也公布將加入支持PartiQL的行列?,F(xiàn)在PartiQL以Apache2.0授權(quán)許可開源,公開教學(xué)、規(guī)范以及參考實作,所有社群都能使用并參與貢獻。