目前存儲海量數(shù)據(jù)的技術(shù)主要包括NoSQL、分布式文件系統(tǒng)、和傳統(tǒng)關(guān)系型數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)行業(yè)不斷的發(fā)展，產(chǎn)生的數(shù)據(jù)量越來越多，并且這些數(shù)據(jù)的特點是半結(jié)構(gòu)化和非結(jié)構(gòu)化，數(shù)據(jù)很可能是不精確的，易變的。這樣傳統(tǒng)關(guān)系型數(shù)據(jù)庫就無法發(fā)揮它的優(yōu)勢。因此，目前互聯(lián)網(wǎng)行業(yè)偏向于使用NoSQL和分布式文件系統(tǒng)來存儲海量數(shù)據(jù)。
田東ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！
下面介紹下常用的NoSQL和分布式文件系統(tǒng)。
NoSQL
互聯(lián)網(wǎng)行業(yè)常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB。
HBase是Apache Hadoop的子項目,理論依據(jù)為Google論文 Bigtable: A Distributed Storage System for Structured Data開發(fā)的。HBase適合存儲半結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)。HBase的數(shù)據(jù)模型是稀疏的、分布式的、持久穩(wěn)固的多維map。HBase也有行和列的概念，這是與RDBMS相同的地方，但卻又不同。HBase底層采用HDFS作為文件系統(tǒng)，具有高可靠性、高性能。
MongoDB是一種支持高性能數(shù)據(jù)存儲的開源文檔型數(shù)據(jù)庫。支持嵌入式數(shù)據(jù)模型以減少對數(shù)據(jù)庫系統(tǒng)的I/O、利用索引實現(xiàn)快速查詢，并且嵌入式文檔和集合也支持索引，它復(fù)制能力被稱作復(fù)制集（replica set），提供了自動的故障遷移和數(shù)據(jù)冗余。MongoDB的分片策略將數(shù)據(jù)分布在服務(wù)器集群上。
Couchbase這種NoSQL有三個重要的組件：Couchbase服務(wù)器、Couchbase Gateway、Couchbase Lite。Couchbase服務(wù)器，支持橫向擴展，面向文檔的數(shù)據(jù)庫，支持鍵值操作，類似于SQL查詢和內(nèi)置的全文搜索;Couchbase Gateway提供了用于RESTful和流式訪問數(shù)據(jù)的應(yīng)用層API。Couchbase Lite是一款面向移動設(shè)備和“邊緣”系統(tǒng)的嵌入式數(shù)據(jù)庫。Couchbase支持千萬級海量數(shù)據(jù)存儲
分布式文件系統(tǒng)
如果針對單個大文件，譬如超過100MB的文件，使用NoSQL存儲就不適當了。使用分布式文件系統(tǒng)的優(yōu)勢在于，分布式文件系統(tǒng)隔離底層數(shù)據(jù)存儲和分布的細節(jié)，展示給用戶的是一個統(tǒng)一的邏輯視圖。常用的分布式文件系統(tǒng)有Google File System、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。
相比過去打電話、發(fā)短信、用彩鈴的“老三樣”，移動互聯(lián)網(wǎng)的發(fā)展使得人們可以隨時隨地通過刷微博、看視頻、微信聊天、瀏覽網(wǎng)頁、地圖導(dǎo)航、網(wǎng)上購物、外賣訂餐等，這些業(yè)務(wù)的海量數(shù)據(jù)都構(gòu)建在大規(guī)模網(wǎng)絡(luò)云資源池之上。當14億中國人把衣食住行搬上移動互聯(lián)網(wǎng)的同時，也給網(wǎng)絡(luò)云資源池帶來巨大業(yè)務(wù)挑戰(zhàn)。
首先，用戶需求動態(tài)變化，傳統(tǒng)業(yè)務(wù)流量主要是端到端模式，較為穩(wěn)定；而互聯(lián)網(wǎng)流量易受熱點內(nèi)容牽引，數(shù)據(jù)流量流向復(fù)雜和規(guī)模多變：比如雙十一購物狂潮，電商平臺訂單創(chuàng)建峰值達到58.3萬筆，要求通信網(wǎng)絡(luò)提供高并發(fā)支持；又如優(yōu)酷春節(jié)期間有超過23億人次上網(wǎng)刷劇、抖音拜年短視頻增長超10倍，需要通信網(wǎng)絡(luò)能夠靈活擴充帶寬。面對用戶動態(tài)多變的需求，通信網(wǎng)絡(luò)需要具備快速洞察和響應(yīng)用戶需求的能力，提供高效、彈性、智能的數(shù)據(jù)服務(wù)。
“隨著通信網(wǎng)絡(luò)管道十倍百倍加粗、節(jié)點數(shù)從千萬級逐漸躍升至百億千億級，如何‘接得住、存得下’海量數(shù)據(jù)，成為網(wǎng)絡(luò)云資源池建設(shè)面臨的巨大考驗”，李輝表示。一直以來，作為新數(shù)據(jù)存儲首倡者和引領(lǐng)者，浪潮存儲攜手通信行業(yè)用戶，不斷 探索 提速通信網(wǎng)絡(luò)云基礎(chǔ)設(shè)施的各種姿勢。
早在2018年，浪潮存儲就參與了通信行業(yè)基礎(chǔ)設(shè)施建設(shè)，四年內(nèi)累計交付約5000套存儲產(chǎn)品，涵蓋全閃存儲、高端存儲、分布式存儲等明星產(chǎn)品。其中在網(wǎng)絡(luò)云建設(shè)中，浪潮存儲已連續(xù)兩年兩次中標全球最大的NFV網(wǎng)絡(luò)云項目，其中在網(wǎng)絡(luò)云二期建設(shè)中，浪潮存儲提供數(shù)千節(jié)點，為上層網(wǎng)元、應(yīng)用提供高效數(shù)據(jù)服務(wù)。在最新的NFV三期項目中，浪潮存儲也已中標。
能夠與通信用戶在網(wǎng)絡(luò)云建設(shè)中多次握手，背后是浪潮存儲的持續(xù)技術(shù)投入與創(chuàng)新。浪潮存儲6年內(nèi)投入超30億研發(fā)經(jīng)費，開發(fā)了業(yè)界首個“多合一”極簡架構(gòu)的浪潮并行融合存儲系統(tǒng)。此存儲系統(tǒng)能夠統(tǒng)籌管理數(shù)千個節(jié)點，實現(xiàn)性能、容量線性擴展；同時基于浪潮iTurbo智能加速引擎的智能IO均衡、智能資源調(diào)度、智能元數(shù)據(jù)管理等功能，與自研NVMe SSD閃存盤進行系統(tǒng)級別聯(lián)調(diào)優(yōu)化，讓百萬級IO均衡落盤且路徑更短，將存儲系統(tǒng)性能發(fā)揮到極致。
“為了確保全球最大規(guī)模的網(wǎng)絡(luò)云正常上線運行，我們聯(lián)合用戶對存儲集群展開了長達數(shù)月的魔鬼測試”，浪潮存儲工程師表示。網(wǎng)絡(luò)云的IO以虛擬機數(shù)據(jù)和上層應(yīng)用數(shù)據(jù)為主，浪潮按照每個存儲集群支持15000臺虛機進行配置，分別對單卷隨機讀寫、順序?qū)?、混合讀寫以及全系統(tǒng)隨機讀寫的IO、帶寬、時延等指標進行了360無死角測試，達到了通信用戶提出的單卷、系統(tǒng)性能不低于4萬和12萬IOPS、時延小于3ms的要求，產(chǎn)品成熟度得到了驗證。
以通信行業(yè)為例，2020年全國移動互聯(lián)網(wǎng)接入流量1656億GB，相當于中國14億人每人消耗118GB數(shù)據(jù)；其中春節(jié)期間，移動互聯(lián)網(wǎng)更是創(chuàng)下7天消耗36億GB數(shù)據(jù)流量的記錄，還“捎帶”打了548億分鐘電話、發(fā)送212億條短信……海量實時數(shù)據(jù)洪流，在網(wǎng)絡(luò)云資源池(NFV)支撐下收放自如，其中分布式存儲平臺發(fā)揮了作用。如此樣板工程，其巨大示范及拉動作用不言而喻。
什么是NoSQL數(shù)據(jù)庫？從名稱“非SQL”或“非關(guān)系型”衍生而來，這些數(shù)據(jù)庫不使用類似SQL的查詢語言，通常稱為結(jié)構(gòu)化存儲。這些數(shù)據(jù)庫自1960年就已經(jīng)存在，但是直到現(xiàn)在一些大公司（例如Google和Facebook）開始使用它們時，這些數(shù)據(jù)庫才流行起來。該數(shù)據(jù)庫最明顯的優(yōu)勢是擺脫了一組固定的列、連接和類似SQL的查詢語言的限制。有時，NoSQL這個名稱也可能表示“不僅僅SQL”，來確保它們可能支持SQL。 NoSQL數(shù)據(jù)庫使用諸如鍵值、寬列、圖形或文檔之類的數(shù)據(jù)結(jié)構(gòu)，并且可以如JSON之類的不同格式存儲。
NoSQL太火，冒出太多產(chǎn)品了，保守估計也成百上千了。
互聯(lián)網(wǎng)公司常用的基本集中在以下幾種，每種只舉一個比較常見或者應(yīng)用比較成功的例子吧。
1. In-Memory KV Store : Redis
in memory key-value store，同時提供了更加豐富的數(shù)據(jù)結(jié)構(gòu)和運算的能力，成功用法是替代memcached，通過checkpoint和commit log提供了快速的宕機恢復(fù)，同時支持replication提供讀可擴展和高可用。
2. Disk-Based KV Store: Leveldb
真正基于磁盤的key-value storage, 模型單一簡單，數(shù)據(jù)量不受限于內(nèi)存大小，數(shù)據(jù)落盤高可靠，Google的幾位大神出品的精品，LSM模型天然寫優(yōu)化，順序?qū)懕P的方式對于新硬件ssd再適合不過了，不足是僅提供了一個庫，需要自己封裝server端。
3. Document Store: Mongodb
分布式nosql，具備了區(qū)別mysql的最大亮點：可擴展性。mongodb 最新引人的莫過于提供了sql接口，是目前nosql里最像mysql的，只是沒有ACID的特性，發(fā)展很快，支持了索引等特性，上手容易，對于數(shù)據(jù)量遠超內(nèi)存限制的場景來說，還需要慎重。
4. Column Table Store: HBase
這個富二代似乎不用贅述了，最大的優(yōu)勢是開源，對于普通的scan和基于行的get等基本查詢，性能完全不是問題，只是只提供裸的api,易用性上是短板，可擴展性方面是最強的，其次坐上了Hadoop的快車，社區(qū)發(fā)展很快，各種基于其上的開源產(chǎn)品不少，來解決諸如join、聚集運算等復(fù)雜查詢。
一般將NoSQL數(shù)據(jù)庫分為四大類：鍵值(Key-Value)存儲數(shù)據(jù)庫、列存儲數(shù)據(jù)庫、文檔型數(shù)據(jù)庫和圖形(Graph)數(shù)據(jù)庫。它們的數(shù)據(jù)模型、優(yōu)缺點、典型應(yīng)用場景。
鍵值(Key-Value)存儲數(shù)據(jù)庫Key指向Value的鍵值對，通常用hash表來實現(xiàn)查找速度快數(shù)據(jù)無結(jié)構(gòu)化(通常只被當作字符串或者二進制數(shù)據(jù))內(nèi)容緩存，主要用于處理大量數(shù)據(jù)的高訪問負載，也用于一些日志系統(tǒng)等。
列存儲數(shù)據(jù)庫，以列簇式存儲，將同一列數(shù)據(jù)存在一起查找速度快，可擴展性強，更容易進行分布式擴展功能相對局限分布式的文件系統(tǒng)。
文檔型數(shù)據(jù)庫，Key-Value對應(yīng)的鍵值對，Value為結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)要求不嚴格，表結(jié)構(gòu)可變(不需要像關(guān)系型數(shù)據(jù)庫一樣需預(yù)先定義表結(jié)構(gòu))，查詢性能不高，而且缺乏統(tǒng)一的查詢語法，Web應(yīng)用。
圖形(Graph)數(shù)據(jù)庫，圖結(jié)構(gòu)，利用圖結(jié)構(gòu)相關(guān)算法(如最短路徑尋址，N度關(guān)系查找等)，很多時候需要對整個圖做計算才能得出需要的信息，而且這種結(jié)構(gòu)不太好做分布式的集群方案，社交網(wǎng)絡(luò)，推薦系統(tǒng)等。
重慶分公司
重慶分公司
