一個(gè)大型、穩(wěn)健、成熟的分布式系統(tǒng)的背后，往往會(huì)涉及眾多的支撐系統(tǒng)，我們將這些支撐系統(tǒng)稱為分布式系統(tǒng)的基礎(chǔ)設(shè)施。除了前面所介紹的分布式協(xié)作及配置管理系統(tǒng)ZooKeeper,我們進(jìn)行系統(tǒng)架構(gòu)設(shè)計(jì)所依賴的基礎(chǔ)設(shè)施，還包括分布式緩存系統(tǒng)、持久化存儲(chǔ)、分布式消息系統(tǒng)、搜索引擎，以及CDN系統(tǒng)、負(fù)載均衡系統(tǒng)、運(yùn)維自動(dòng)化系統(tǒng)等，還有后面章節(jié)所要介紹的實(shí)時(shí)計(jì)算系統(tǒng)、離線計(jì)算系統(tǒng)、分布式文件系統(tǒng)、日志收集系統(tǒng)、監(jiān)控系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)等。
成都創(chuàng)新互聯(lián)公司專注于豐城網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供豐城營(yíng)銷型網(wǎng)站建設(shè)，豐城網(wǎng)站制作、豐城網(wǎng)頁(yè)設(shè)計(jì)、豐城網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)服務(wù)，打造豐城網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供豐城網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。
分布式緩存主要用于在高并發(fā)環(huán)境下，減輕數(shù)據(jù)庫(kù)的壓力，提高系統(tǒng)的響應(yīng)速度和并發(fā)吞吐。當(dāng)大量的讀、寫請(qǐng)求涌向數(shù)據(jù)庫(kù)時(shí)，磁盤的處理速度與內(nèi)存顯然不在一個(gè)量級(jí)，因此，在數(shù)據(jù)庫(kù)之前加一層緩存，能夠顯著提高系統(tǒng)的響應(yīng)速度，并降低數(shù)據(jù)庫(kù)的壓力。作為傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，MySQL提供完整的ACID操作，支持豐富的數(shù)據(jù)類型、強(qiáng)大的關(guān)聯(lián)查詢、where語(yǔ)句等，能夠非?？鸵椎亟⒉樵兯饕?，執(zhí)行復(fù)雜的內(nèi)連接、外連接、求和、排序、分組等操作，并且支持存儲(chǔ)過(guò)程、函數(shù)等功能，產(chǎn)品成熟度高，功能強(qiáng)大。但是，對(duì)于需要應(yīng)對(duì)高并發(fā)訪問(wèn)并且存儲(chǔ)海量數(shù)據(jù)的場(chǎng)景來(lái)說(shuō)，出于對(duì)性能的考慮，不得不放棄很多傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)原本強(qiáng)大的功能，犧牲了系統(tǒng)的易用性，并且使得系統(tǒng)的設(shè)計(jì)和管理變得更為復(fù)雜。這也使得在過(guò)去幾年中，流行著另一種新的存儲(chǔ)解決方案——NoSQL，它與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)最大的差別在于，它不使用SQL作為查詢語(yǔ)言來(lái)查找數(shù)據(jù)，而采用key-value形式進(jìn)行查找，提供了更高的查詢效率及吞吐，并且能夠更加方便地進(jìn)行擴(kuò)展，存儲(chǔ)海量數(shù)據(jù)，在數(shù)千個(gè)節(jié)點(diǎn)上進(jìn)行分區(qū)，自動(dòng)進(jìn)行數(shù)據(jù)的復(fù)制和備份。在分布式系統(tǒng)中，消息作為應(yīng)用間通信的一種方式，得到了十分廣泛的應(yīng)用。消息可以被保存在隊(duì)列中，直到被接收者取出，由于消息發(fā)送者不需要同步等待消息接收者的響應(yīng)，消息的異步接收降低了系統(tǒng)集成的耦合度，提升了分布式系統(tǒng)協(xié)作的效率，使得系統(tǒng)能夠更快地響應(yīng)用戶，提供更高的吞吐。
當(dāng)系統(tǒng)處于峰值壓力時(shí)，分布式消息隊(duì)列還能夠作為緩沖，削峰填谷，緩解集群的壓力，避免整個(gè)系統(tǒng)被壓垮。垂直化的搜索引擎在分布式系統(tǒng)中是一個(gè)非常重要的角色，它既能夠滿足用戶對(duì)于全文檢索、模糊匹配的需求，解決數(shù)據(jù)庫(kù)like查詢效率低下的問(wèn)題，又能夠解決分布式環(huán)境下，由于采用分庫(kù)分表，或者使用NoSQL數(shù)據(jù)庫(kù)，導(dǎo)致無(wú)法進(jìn)行多表關(guān)聯(lián)或者進(jìn)行復(fù)雜查詢的問(wèn)題。
1.創(chuàng)建表
(1)用Create Table 命令創(chuàng)建表
語(yǔ)法:
Create Table tabl_name
({
}column_name As computed_column_expression
}
}[，...n]
)
[On {fiegroup | Default}]
[Textimage_On {fiegroup | Default}]
例子:
打開cust數(shù)據(jù)庫(kù)，創(chuàng)建一個(gè)表，該表包含了學(xué)生的有關(guān)信息，即有學(xué)號(hào)、姓名、性別、出生日期、籍貫、聯(lián)系電話、住址和備注信息。
Use cust
Create Table students
(
number int not null，
name varchar(10) not null，
sex char(2) null，
birthday datetime null，
hometown varchar(30) null，
telphone_no varchar(12) null，
address varchar(30) null，
others varchar(50) null
)
在這個(gè)表中number表示學(xué)生代號(hào)，數(shù)據(jù)類型為int，不允許為空;name表示學(xué)生姓名，數(shù)據(jù)類型為varchar，長(zhǎng)度為10，不允許為空;sex表示學(xué)生的性別，數(shù)據(jù)類型為char，長(zhǎng)度為2，允許為空;birthday表示學(xué)生的出生日期，數(shù)據(jù)類型為datetime，允許為空;hometown表示學(xué)生的籍貫，數(shù)據(jù)類型為varchar，長(zhǎng)度為30，允許為空;telephone_no表示學(xué)生的聯(lián)系電腦，數(shù)據(jù)類型為varchar，長(zhǎng)度為12，允許為空;address表示學(xué)生的住址，數(shù)據(jù)類型為varchar，長(zhǎng)度為30，允許為空;others表示學(xué)生的備注信息，長(zhǎng)度為50，允許為空。
2.修改表的結(jié)構(gòu)
(1)使用T-SQL語(yǔ)句增加和刪除一個(gè)新列
語(yǔ)法:
Alter Table table
{
ADO
{[]
|colun_name As computed_column_expression
|[]
}[，...n]
|Drop
{Column column
}[，...n]
}
例子:打開cust數(shù)據(jù)庫(kù)，修改其中的表students的結(jié)構(gòu)，增加一個(gè)新字段，字段名為ying，數(shù)據(jù)類型是varchar，長(zhǎng)度是10，沒有默認(rèn)值，充許為空。
Use cust
Alter Table students Add ying varchar(10) null
打開cust數(shù)據(jù)庫(kù)，修改其中的表students的結(jié)構(gòu)，刪除一個(gè)字段，字段名為ying。
Use cust
Alter Table students Drop Column ying
3.向表中插入數(shù)據(jù)
(1)用 Insert 語(yǔ)句
語(yǔ)法如下:
Insert [Into]
{table_name|view_name}[(column_list)]
{Values|values_list|select_statement}
注意:在插入數(shù)據(jù)時(shí)，字符數(shù)據(jù)和日期數(shù)據(jù)要使用引號(hào)引起來(lái)。
例子:
Use cust
Insert Into students
Values (11，"影子"，"男"，"1999-12-12"，"湖北"，"83779805"，"武漢市橋口區(qū)"，"VB愛好者")
打開cust數(shù)據(jù)庫(kù)，向students表中插入數(shù)據(jù)
(2)用Default 選項(xiàng)
在插入數(shù)據(jù)時(shí)，可以使用Default選項(xiàng)。Default選項(xiàng)有兩種形式，一種形式是Default Values，另一種是Default。
Default Values 形式為表中的某一行的所有列插入默認(rèn)值。使用這種形式的前提條件是表中的所有列必須是這四種類型之一:Identity屬性，Timestamp數(shù)據(jù)類型，允許為Null，或者有一個(gè)指定的默認(rèn)值。否則，會(huì)錯(cuò)誤信息。
例子:
Use cust
Insert Into students Default Values
這個(gè)例子會(huì)出現(xiàn)錯(cuò)誤，因?yàn)閟tudents表的number字段是設(shè)置為不允許為空的。
Default 形式是為表中的某一列插入默認(rèn)值。要插入的該列必須具備一定的條件，即該列要么是Timestamp 數(shù)據(jù)類型，要么是允許為Null，要么是有一個(gè)指定的默認(rèn)值，否則，會(huì)出現(xiàn)錯(cuò)誤信息。
例子:
Use cust
Insert Into students Values(11，"影子"，Default，Default，Default，Default，Default，Default)
由天前2個(gè)字段不能為空，所以要賦值，否則會(huì)出現(xiàn)錯(cuò)誤，而后面的6個(gè)字段允許為空，因此可以調(diào)用Default默認(rèn)。
(3)插入部分?jǐn)?shù)據(jù)
在使用Insert語(yǔ)句插入數(shù)據(jù)是，還可以插入部分?jǐn)?shù)據(jù)，也就是可以為每一行的指定的部分列插入數(shù)據(jù)。在插入部分?jǐn)?shù)據(jù)時(shí)，應(yīng)該注意以下三個(gè)問(wèn)題:
☆在 Insert 子句中，指定要插入數(shù)據(jù)的列名。
☆在 Values 子句中，列出與列名對(duì)應(yīng)的數(shù)據(jù)。列名的順序和數(shù)據(jù)的順序應(yīng)該完全對(duì)應(yīng)。
☆在 Insert 子句中，沒有列出的列應(yīng)該至少具有這四種類型之一:Identtty 屬性，Timestamp 數(shù)據(jù)類型，允許為 Null，或者有一個(gè)指定的默認(rèn)值。否則，會(huì)出現(xiàn)錯(cuò)誤信息。
例子:
Use cust
Insert Into students (number，name)
Values (110，"影子")
打開cust數(shù)據(jù)庫(kù)，向students表中插入一行數(shù)據(jù)
注意:如用下例語(yǔ)句將發(fā)生錯(cuò)誤，因?yàn)閚ame字段是不允許為空的(在創(chuàng)建數(shù)據(jù)庫(kù)時(shí)設(shè)定的)
Insert Into students (number)
Values (110)
(4)用 Select 語(yǔ)句插入多條數(shù)據(jù)
Insert 語(yǔ)句插入數(shù)據(jù)的特點(diǎn)是每一次只能插入一行數(shù)據(jù)。相反，Select 也可以用在 Insert 語(yǔ)句中，并且可以一次插入多條數(shù)據(jù)。使用 Select 語(yǔ)句插入數(shù)據(jù)的語(yǔ)法形式如下:
Insert table_name
Select column_list
From table_list
Where search_conditions
在使用 Select 語(yǔ)句插入數(shù)據(jù)時(shí)，應(yīng)該注意下面幾點(diǎn):
☆在 Insert 語(yǔ)句中使用 Select 時(shí)，他們參考的表既可以是相同的，也可以是不同的。
☆要插入數(shù)據(jù)的表必須已經(jīng)存在。
☆要插入數(shù)據(jù)的表必須和 Select 的結(jié)果集兼容。兼容的含義是列的數(shù)量和順序必須相同，列的數(shù)據(jù)類型或者相同，或者SQL Server 可以自動(dòng)轉(zhuǎn)換。
例子:
Use cust
Insert students
Select number，name，sex，birthday，hometown，telphone_no，address，others
From students
注意:
Select 后面的字段要輸完整，這個(gè)例子是自己向自己插入多條數(shù)據(jù)(自己向自己插入是被允許的)
補(bǔ)充:
你還可以“From students”后面加上“Where name="影子"”，只插入name等于影子的記錄，可以用And 和 Or 加上多個(gè)條件。
(5)使用 Select Into 插入數(shù)據(jù)到一個(gè)新表中
帶有 Into 子句的 Select 語(yǔ)句允許用戶定義一個(gè)新表并且把數(shù)據(jù)插入到新表中。這種方法不同于前面講述的那些方法。在前面的那些方法中，一個(gè)共同的特點(diǎn)，是在數(shù)據(jù)輸入之前表已經(jīng)存在。而使用 Select Into 插入數(shù)據(jù)的方法，是在插入數(shù)據(jù)的過(guò)程中建立新表。
Select Into 語(yǔ)句的語(yǔ)法如下:
Select select_list
Into new_table_name
From table_list
Where search_conditions
在使用 Select Into 插入數(shù)據(jù)時(shí)，要注意下面幾點(diǎn):
☆在某個(gè)數(shù)據(jù)庫(kù)中使用 Select Into 插入數(shù)據(jù)時(shí)，設(shè)置該數(shù)據(jù)庫(kù)的 Select Into/Bulk Copy 為真。
☆新表不能存在，否則會(huì)產(chǎn)生錯(cuò)誤信息。
☆新表中的列和行是基于查詢結(jié)果集
☆要插入的數(shù)據(jù)不記錄在日志中。
☆在select_list 中出現(xiàn)的列應(yīng)該使用別名，否則，新表中的列沒有列名。沒列名的表只能通過(guò) Select * From new_table_name 的形式查詢。因此，應(yīng)該為列起個(gè)別名。
☆這種方法多用在對(duì)列進(jìn)行各種計(jì)算的情況。
例子:
Select number，name
Into newcust1
From students
創(chuàng)建新的表newcust1，插入students表中的number和name字段的所有數(shù)據(jù)。
補(bǔ)充:如果要插入所有字段的記錄，則“Select *”，也可在“From students”后加條件，方法和上個(gè)例子一樣。
(6)用 UPdate 語(yǔ)句修改表中的數(shù)據(jù)
Update 語(yǔ)句用來(lái)修改表中已存在的數(shù)據(jù)。Update 語(yǔ)句既可以一次修改一行數(shù)據(jù)，也可以一次修改許多行，甚至可以一次修改表中的全部數(shù)據(jù)。Update 語(yǔ)句使用 Where 子句指定要修改的行，使用 Set 子句給出新的數(shù)據(jù)。新數(shù)據(jù)可以是常量，也可以是指定的表達(dá)式，還可以是使用 From 子句來(lái)自其他表的數(shù)據(jù)。
Update 語(yǔ)句的語(yǔ)法如下:
Update {table_name|view_name}
Set {column_list}=expression [，. . .]
[Where clause]
在使用 Update 語(yǔ)句時(shí)，如果沒有使用 Where 子句，那么就對(duì)表中所有的行進(jìn)行修改。如果使用Update 語(yǔ)句修改數(shù)據(jù)時(shí)與數(shù)據(jù)完整性約束有沖突，那么修改就不會(huì)發(fā)生，整個(gè)修改事務(wù)全部滾回。例如，這種沖突可能是所輸入的值是錯(cuò)誤的數(shù)據(jù)類型，或者所輸入的值違背了在該列定義的規(guī)則約束，等等。
例子:
Use cust
Update students
Set name=name+"007"
Where number100
打開cust數(shù)據(jù)庫(kù)，修改students表，使number100的數(shù)據(jù)的name的值全部加"007"。
4.用 Delete 語(yǔ)句刪除表中的數(shù)據(jù)
當(dāng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)不需要的進(jìn)修可以刪除。一般情況下，刪除數(shù)據(jù)使用 Delete 語(yǔ)句。Delete 語(yǔ)句可以一次
1.大數(shù)據(jù)是什么?
大數(shù)據(jù)是最近IT界最常用的術(shù)語(yǔ)之一。然而對(duì)大數(shù)據(jù)的定義也不盡相同，所有已知的論點(diǎn)例如結(jié)構(gòu)化的和非結(jié)構(gòu)化、大規(guī)模的數(shù)據(jù)等等都不夠完整。大數(shù)據(jù)系統(tǒng)通常被認(rèn)為具有數(shù)據(jù)的五個(gè)主要特征，通常稱為數(shù)據(jù)的5 Vs。分別是大規(guī)模，多樣性，高效性、準(zhǔn)確性和價(jià)值性。
據(jù)Gartner稱，大規(guī)?？梢员欢x為“在本(地)機(jī)數(shù)據(jù)采集和處理技術(shù)能力不足以為用戶帶來(lái)商業(yè)價(jià)值。當(dāng)現(xiàn)有的技術(shù)能夠針對(duì)性的進(jìn)行改造后來(lái)處理這種規(guī)模的數(shù)據(jù)就可以說(shuō)是一個(gè)成功的大數(shù)據(jù)解決方案。
這種大規(guī)模的數(shù)據(jù)沒將不僅僅是來(lái)自于現(xiàn)有的數(shù)據(jù)源，同時(shí)也會(huì)來(lái)自于一些新興的數(shù)據(jù)源，例如常規(guī)(手持、工業(yè))設(shè)備，日志，汽車等，當(dāng)然包括結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。
據(jù)Gartner稱，多樣性可以定義如下：“高度變異的信息資產(chǎn)，在生產(chǎn)和消費(fèi)時(shí)不進(jìn)行嚴(yán)格定義的包括多種形式、類型和結(jié)構(gòu)的組合。同時(shí)還包括以前的歷史數(shù)據(jù)，由于技術(shù)的變革歷史數(shù)據(jù)同樣也成為多樣性數(shù)據(jù)之一 “。
高效性可以被定義為來(lái)自不同源的數(shù)據(jù)到達(dá)的速度。從各種設(shè)備，傳感器和其他有組織和無(wú)組織的數(shù)據(jù)流都在不斷進(jìn)入IT系統(tǒng)。由此，實(shí)時(shí)分析和對(duì)于該數(shù)據(jù)的解釋(展示)的能力也應(yīng)該隨之增加。
根據(jù)Gartner，高效性可以被定義如下：“高速的數(shù)據(jù)流I/O(生產(chǎn)和消費(fèi))，但主要聚焦在一個(gè)數(shù)據(jù)集內(nèi)或多個(gè)數(shù)據(jù)集之間的數(shù)據(jù)生產(chǎn)的速率可變上”。
準(zhǔn)確性，或真實(shí)性或叫做精度是數(shù)據(jù)的另一個(gè)重要組成方面。要做出正確的商業(yè)決策，當(dāng)務(wù)之急是在數(shù)據(jù)上進(jìn)行的所有分析必須是正確和準(zhǔn)確(精確)的。
大數(shù)據(jù)系統(tǒng)可以提供巨大的商業(yè)價(jià)值。像電信，金融，電子商務(wù)，社交媒體等，已經(jīng)認(rèn)識(shí)到他們的數(shù)據(jù)是一個(gè)潛在的巨大的商機(jī)。他們可以預(yù)測(cè)用戶行為，并推薦相關(guān)產(chǎn)品，提供危險(xiǎn)交易預(yù)警服務(wù)，等等。
與其他IT系統(tǒng)一樣，性能是大數(shù)據(jù)系統(tǒng)獲得成功的關(guān)鍵。本文的中心主旨是要說(shuō)明如何讓大數(shù)據(jù)系統(tǒng)保證其性能。
2.大數(shù)據(jù)系統(tǒng)應(yīng)包含的功能模塊
大數(shù)據(jù)系統(tǒng)應(yīng)該包含的功能模塊，首先是能夠從多種數(shù)據(jù)源獲取數(shù)據(jù)的功能，數(shù)據(jù)的預(yù)處理(例如，清洗，驗(yàn)證等)，存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)處理、數(shù)據(jù)分析等(例如做預(yù)測(cè)分析，生成在線使用建議等等)，最后呈現(xiàn)和可視化的總結(jié)、匯總結(jié)果。
下圖描述了大數(shù)據(jù)系統(tǒng)的這些高層次的組件：
2.1各種各樣的數(shù)據(jù)源
當(dāng)今的IT生態(tài)系統(tǒng)，需要對(duì)各種不同種類來(lái)源的數(shù)據(jù)進(jìn)行分析。這些來(lái)源可能是從在線Web應(yīng)用程序，批量上傳或feed，流媒體直播數(shù)據(jù)，來(lái)自工業(yè)、手持、家居傳感的任何東西等等。
顯然從不同數(shù)據(jù)源獲取的數(shù)據(jù)具有不同的格式、使用不同的協(xié)議。例如，在線的Web應(yīng)用程序可能會(huì)使用SOAP / XML格式通過(guò)HTTP發(fā)送數(shù)據(jù)，feed可能會(huì)來(lái)自于CSV文件，其他設(shè)備則可能使用MQTT通信協(xié)議。
由于這些單獨(dú)的系統(tǒng)的性能是不在大數(shù)據(jù)系統(tǒng)的控制范圍之內(nèi)，并且通常這些系統(tǒng)都是外部應(yīng)用程序，由第三方供應(yīng)商或團(tuán)隊(duì)提供并維護(hù)，所以本文將不會(huì)在深入到這些系統(tǒng)的性能分析中去。
2.2數(shù)據(jù)采集
第一步，獲取數(shù)據(jù)。這個(gè)過(guò)程包括分析，驗(yàn)證，清洗，轉(zhuǎn)換，去重，然后存到適合你們公司的一個(gè)持久化設(shè)備中(硬盤、存儲(chǔ)、云等)。
在下面的章節(jié)中，本文將重點(diǎn)介紹一些關(guān)于如何獲取數(shù)據(jù)方面的非常重要的技巧。請(qǐng)注意，本文將不討論各種數(shù)據(jù)采集技術(shù)的優(yōu)缺點(diǎn)。
2.3存儲(chǔ)數(shù)據(jù)
第二步，一旦數(shù)據(jù)進(jìn)入大數(shù)據(jù)系統(tǒng)，清洗，并轉(zhuǎn)化為所需格式時(shí)，這些過(guò)程都將在數(shù)據(jù)存儲(chǔ)到一個(gè)合適的持久化層中進(jìn)行。
在下面的章節(jié)中，本文將介紹一些存儲(chǔ)方面的最佳實(shí)踐(包括邏輯上和物理上)。在本文結(jié)尾也會(huì)討論一部分涉及數(shù)據(jù)安全方面的問(wèn)題。
2.4數(shù)據(jù)處理和分析
第三步，在這一階段中的一部分干凈數(shù)據(jù)是去規(guī)范化的，包括對(duì)一些相關(guān)的數(shù)據(jù)集的數(shù)據(jù)進(jìn)行一些排序，在規(guī)定的時(shí)間間隔內(nèi)進(jìn)行數(shù)據(jù)結(jié)果歸集，執(zhí)行機(jī)器學(xué)習(xí)算法，預(yù)測(cè)分析等。
在下面的章節(jié)中，本文將針對(duì)大數(shù)據(jù)系統(tǒng)性能優(yōu)化介紹一些進(jìn)行數(shù)據(jù)處理和分析的最佳實(shí)踐。
2.5數(shù)據(jù)的可視化和數(shù)據(jù)展示
最后一個(gè)步驟，展示經(jīng)過(guò)各個(gè)不同分析算法處理過(guò)的數(shù)據(jù)結(jié)果。該步驟包括從預(yù)先計(jì)算匯總的結(jié)果(或其他類似數(shù)據(jù)集)中的讀取和用一種友好界面或者表格(圖表等等)的形式展示出來(lái)。這樣便于對(duì)于數(shù)據(jù)分析結(jié)果的理解。
3.數(shù)據(jù)采集中的性能技巧
數(shù)據(jù)采集是各種來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)入大數(shù)據(jù)系統(tǒng)的第一步。這個(gè)步驟的性能將會(huì)直接決定在一個(gè)給定的時(shí)間段內(nèi)大數(shù)據(jù)系統(tǒng)能夠處理的數(shù)據(jù)量的能力。
數(shù)據(jù)采集過(guò)程基于對(duì)該系統(tǒng)的個(gè)性化需求，但一些常用執(zhí)行的步驟是 – 解析傳入數(shù)據(jù)，做必要的驗(yàn)證，數(shù)據(jù)清晰，例如數(shù)據(jù)去重，轉(zhuǎn)換格式，并將其存儲(chǔ)到某種持久層。
涉及數(shù)據(jù)采集過(guò)程的邏輯步驟示如下圖所示：
下面是一些性能方面的技巧：
●來(lái)自不同數(shù)據(jù)源的傳輸應(yīng)該是異步的?？梢允褂梦募?lái)傳輸、或者使用面向消息的(MoM)中間件來(lái)實(shí)現(xiàn)。由于數(shù)據(jù)異步傳輸，所以數(shù)據(jù)采集過(guò)程的吞吐量可以大大高于大數(shù)據(jù)系統(tǒng)的處理能力。 異步數(shù)據(jù)傳輸同樣可以在大數(shù)據(jù)系統(tǒng)和不同的數(shù)據(jù)源之間進(jìn)行解耦。大數(shù)據(jù)基礎(chǔ)架構(gòu)設(shè)計(jì)使得其很容易進(jìn)行動(dòng)態(tài)伸縮，數(shù)據(jù)采集的峰值流量對(duì)于大數(shù)據(jù)系統(tǒng)來(lái)說(shuō)算是安全的。
●如果數(shù)據(jù)是直接從一些外部數(shù)據(jù)庫(kù)中抽取的，確保拉取數(shù)據(jù)是使用批量的方式。
●如果數(shù)據(jù)是從feed file解析，請(qǐng)務(wù)必使用合適的解析器。例如，如果從一個(gè)XML文件中讀取也有不同的解析器像JDOM，SAX，DOM等。類似地，對(duì)于CSV，JSON和其它這樣的格式，多個(gè)解析器和API是可供選擇。選擇能夠符合需求的性能最好的。
●優(yōu)先使用內(nèi)置的驗(yàn)證解決方案。大多數(shù)解析/驗(yàn)證工作流程的通常運(yùn)行在服務(wù)器環(huán)境(ESB /應(yīng)用服務(wù)器)中。大部分的場(chǎng)景基本上都有現(xiàn)成的標(biāo)準(zhǔn)校驗(yàn)工具。在大多數(shù)的情況下，這些標(biāo)準(zhǔn)的現(xiàn)成的工具一般來(lái)說(shuō)要比你自己開發(fā)的工具性能要好很多。
●類似地，如果數(shù)據(jù)XML格式的，優(yōu)先使用XML(XSD)用于驗(yàn)證。
●即使解析器或者校等流程使用自定義的腳本來(lái)完成，例如使用java優(yōu)先還是應(yīng)該使用內(nèi)置的函數(shù)庫(kù)或者開發(fā)框架。在大多數(shù)的情況下通常會(huì)比你開發(fā)任何自定義代碼快得多。
●盡量提前濾掉無(wú)效數(shù)據(jù)，以便后續(xù)的處理流程都不用在無(wú)效數(shù)據(jù)上浪費(fèi)過(guò)多的計(jì)算能力。
●大多數(shù)系統(tǒng)處理無(wú)效數(shù)據(jù)的做法通常是存放在一個(gè)專門的表中，請(qǐng)?jiān)谙到y(tǒng)建設(shè)之初考慮這部分的數(shù)據(jù)庫(kù)存儲(chǔ)和其他額外的存儲(chǔ)開銷。
●如果來(lái)自數(shù)據(jù)源的數(shù)據(jù)需要清洗，例如去掉一些不需要的信息，盡量保持所有數(shù)據(jù)源的抽取程序版本一致，確保一次處理的是一個(gè)大批量的數(shù)據(jù)，而不是一條記錄一條記錄的來(lái)處理。一般來(lái)說(shuō)數(shù)據(jù)清洗需要進(jìn)行表關(guān)聯(lián)。數(shù)據(jù)清洗中需要用到的靜態(tài)數(shù)據(jù)關(guān)聯(lián)一次，并且一次處理一個(gè)很大的批量就能夠大幅提高數(shù)據(jù)處理效率。
●數(shù)據(jù)去重非常重要這個(gè)過(guò)程決定了主鍵的是由哪些字段構(gòu)成。通常主鍵都是時(shí)間戳或者id等可以追加的類型。一般情況下，每條記錄都可能根據(jù)主鍵進(jìn)行索引來(lái)更新，所以最好能夠讓主鍵簡(jiǎn)單一些，以保證在更新的時(shí)候檢索的性能。
●來(lái)自多個(gè)源接收的數(shù)據(jù)可以是不同的格式。有時(shí)，需要進(jìn)行數(shù)據(jù)移植，使接收到的數(shù)據(jù)從多種格式轉(zhuǎn)化成一種或一組標(biāo)準(zhǔn)格式。
●和解析過(guò)程一樣，我們建議使用內(nèi)置的工具，相比于你自己從零開發(fā)的工具性能會(huì)提高很多。
●數(shù)據(jù)移植的過(guò)程一般是數(shù)據(jù)處理過(guò)程中最復(fù)雜、最緊急、消耗資源最多的一步。因此，確保在這一過(guò)程中盡可能多的使用并行計(jì)算。
●一旦所有的數(shù)據(jù)采集的上述活動(dòng)完成后，轉(zhuǎn)換后的數(shù)據(jù)通常存儲(chǔ)在某些持久層，以便以后分析處理，綜述，聚合等使用。
●多種技術(shù)解決方案的存在是為了處理這種持久(RDBMS，NoSQL的分布式文件系統(tǒng)，如Hadoop和等)。
●謹(jǐn)慎選擇一個(gè)能夠最大限度的滿足需求的解決方案。
4.數(shù)據(jù)存儲(chǔ)中的性能技巧
一旦所有的數(shù)據(jù)采集步驟完成后，數(shù)據(jù)將進(jìn)入持久層。
在本節(jié)中將討論一些與數(shù)據(jù)數(shù)據(jù)存儲(chǔ)性能相關(guān)的技巧包括物理存儲(chǔ)優(yōu)化和邏輯存儲(chǔ)結(jié)構(gòu)(數(shù)據(jù)模型)。這些技巧適用于所有的數(shù)據(jù)處理過(guò)程，無(wú)論是一些解析函數(shù)生的或最終輸出的數(shù)據(jù)還是預(yù)計(jì)算的匯總數(shù)據(jù)等。
●首先選擇數(shù)據(jù)范式。您對(duì)數(shù)據(jù)的建模方式對(duì)性能有直接的影響，例如像數(shù)據(jù)冗余，磁盤存儲(chǔ)容量等方面。對(duì)于一些簡(jiǎn)單的文件導(dǎo)入數(shù)據(jù)庫(kù)中的場(chǎng)景，你也許需要保持?jǐn)?shù)據(jù)原始的格式，對(duì)于另外一些場(chǎng)景，如執(zhí)行一些分析計(jì)算聚集等，你可能不需要將數(shù)據(jù)范式化。
●大多數(shù)的大數(shù)據(jù)系統(tǒng)使用NoSQL數(shù)據(jù)庫(kù)替代RDBMS處理數(shù)據(jù)。
●不同的NoSQL數(shù)據(jù)庫(kù)適用不同的場(chǎng)景，一部分在select時(shí)性能更好，有些是在插入或者更新性能更好。
●數(shù)據(jù)庫(kù)分為行存儲(chǔ)和列存儲(chǔ)。
●具體的數(shù)據(jù)庫(kù)選型依賴于你的具體需求(例如，你的應(yīng)用程序的數(shù)據(jù)庫(kù)讀寫比)。
●同樣每個(gè)數(shù)據(jù)庫(kù)都會(huì)根據(jù)不同的配置從而控制這些數(shù)據(jù)庫(kù)用于數(shù)據(jù)庫(kù)復(fù)制備份或者嚴(yán)格保持?jǐn)?shù)據(jù)一致性。
●這些設(shè)置會(huì)直接影響數(shù)據(jù)庫(kù)性能。在數(shù)據(jù)庫(kù)技術(shù)選型前一定要注意。
●壓縮率、緩沖池、超時(shí)的大小，和緩存的對(duì)于不同的NoSQL數(shù)據(jù)庫(kù)來(lái)說(shuō)配置都是不同的，同時(shí)對(duì)數(shù)據(jù)庫(kù)性能的影響也是不一樣的。
●數(shù)據(jù)Sharding和分區(qū)是這些數(shù)據(jù)庫(kù)的另一個(gè)非常重要的功能。數(shù)據(jù)Sharding的方式能夠?qū)ο到y(tǒng)的性能產(chǎn)生巨大的影響，所以在數(shù)據(jù)Sharding和分區(qū)時(shí)請(qǐng)謹(jǐn)慎選擇。
●并非所有的NoSQL數(shù)據(jù)庫(kù)都內(nèi)置了支持連接，排序，匯總，過(guò)濾器，索引等。
●如果有需要還是建議使用內(nèi)置的類似功能，因?yàn)樽约洪_發(fā)的還是不靈。
●NoSQLs內(nèi)置了壓縮、編解碼器和數(shù)據(jù)移植工具。如果這些可以滿足您的部分需求，那么優(yōu)先選擇使用這些內(nèi)置的功能。這些工具可以執(zhí)行各種各樣的任務(wù)，如格式轉(zhuǎn)換、壓縮數(shù)據(jù)等，使用內(nèi)置的工具不僅能夠帶來(lái)更好的性能還可以降低網(wǎng)絡(luò)的使用率。
●許多NoSQL數(shù)據(jù)庫(kù)支持多種類型的文件系統(tǒng)。其中包括本地文件系統(tǒng)，分布式文件系統(tǒng)，甚至基于云的存儲(chǔ)解決方案。
●如果在交互式需求上有嚴(yán)格的要求，否則還是盡量嘗試使用NoSQL本地(內(nèi)置)文件系統(tǒng)(例如HBase 使用HDFS)。
●這是因?yàn)?，如果使用一些外部文件系統(tǒng)/格式，則需要對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的編解碼/數(shù)據(jù)移植。它將在整個(gè)讀/寫過(guò)程中增加原本不必要的冗余處理。
●大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)模型一般來(lái)說(shuō)需要根據(jù)需求用例來(lái)綜合設(shè)計(jì)。與此形成鮮明對(duì)比的是RDMBS數(shù)據(jù)建模技術(shù)基本都是設(shè)計(jì)成為一個(gè)通用的模型，用外鍵和表之間的關(guān)系用來(lái)描述數(shù)據(jù)實(shí)體與現(xiàn)實(shí)世界之間的交互。
●在硬件一級(jí)，本地RAID模式也許不太適用。請(qǐng)考慮使用SAN存儲(chǔ)。
5.數(shù)據(jù)處理分析中的性能技巧
數(shù)據(jù)處理和分析是一個(gè)大數(shù)據(jù)系統(tǒng)的核心。像聚合，預(yù)測(cè)，聚集，和其它這樣的邏輯操作都需要在這一步完成。
本節(jié)討論一些數(shù)據(jù)處理性能方面的技巧。需要注意的是大數(shù)據(jù)系統(tǒng)架構(gòu)有兩個(gè)組成部分，實(shí)時(shí)數(shù)據(jù)流處理和批量數(shù)據(jù)處理。本節(jié)涵蓋數(shù)據(jù)處理的各個(gè)方面。
●在細(xì)節(jié)評(píng)估和數(shù)據(jù)格式和模型后選擇適當(dāng)?shù)臄?shù)據(jù)處理框架。
●其中一些框架適用于批量數(shù)據(jù)處理，而另外一些適用于實(shí)時(shí)數(shù)據(jù)處理。
●同樣一些框架使用內(nèi)存模式，另外一些是基于磁盤io處理模式。
●有些框架擅長(zhǎng)高度并行計(jì)算，這樣能夠大大提高數(shù)據(jù)效率。
●基于內(nèi)存的框架性能明顯優(yōu)于基于磁盤io的框架，但是同時(shí)成本也可想而知。
●概括地說(shuō)，當(dāng)務(wù)之急是選擇一個(gè)能夠滿足需求的框架。否則就有可能既無(wú)法滿足功能需求也無(wú)法滿足非功能需求，當(dāng)然也包括性能需求。
●一些這些框架將數(shù)據(jù)劃分成較小的塊。這些小數(shù)據(jù)塊由各個(gè)作業(yè)獨(dú)立處理。協(xié)調(diào)器管理所有這些獨(dú)立的子作業(yè)
●在數(shù)據(jù)分塊是需要當(dāng)心。
●該數(shù)據(jù)快越小，就會(huì)產(chǎn)生越多的作業(yè)，這樣就會(huì)增加系統(tǒng)初始化作業(yè)和清理作業(yè)的負(fù)擔(dān)。
●如果數(shù)據(jù)快太大，數(shù)據(jù)傳輸可能需要很長(zhǎng)時(shí)間才能完成。這也可能導(dǎo)致資源利用不均衡，長(zhǎng)時(shí)間在一臺(tái)服務(wù)器上運(yùn)行一個(gè)大作業(yè)，而其他服務(wù)器就會(huì)等待。
●不要忘了查看一個(gè)任務(wù)的作業(yè)總數(shù)。在必要時(shí)調(diào)整這個(gè)參數(shù)。
●最好實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)塊的傳輸。在本機(jī)機(jī)型io的效率會(huì)更高，這么做也會(huì)帶來(lái)一個(gè)副作用就是需要將數(shù)據(jù)塊的冗余參數(shù)提高(一般hadoop默認(rèn)是3份)這樣又會(huì)反作用使得系統(tǒng)性能下降。
●此外，實(shí)時(shí)數(shù)據(jù)流需要與批量數(shù)據(jù)處理的結(jié)果進(jìn)行合并。設(shè)計(jì)系統(tǒng)時(shí)盡量減少對(duì)其他作業(yè)的影響。
●大多數(shù)情況下同一數(shù)據(jù)集需要經(jīng)過(guò)多次計(jì)算。這種情況可能是由于數(shù)據(jù)抓取等初始步驟就有報(bào)錯(cuò)，或者某些業(yè)務(wù)流程發(fā)生變化，值得一提的是舊數(shù)據(jù)也是如此。設(shè)計(jì)系統(tǒng)時(shí)需要注意這個(gè)地方的容錯(cuò)。
●這意味著你可能需要存儲(chǔ)原始數(shù)據(jù)的時(shí)間較長(zhǎng)，因此需要更多的存儲(chǔ)。
●數(shù)據(jù)結(jié)果輸出后應(yīng)該保存成用戶期望看到的格式。例如，如果最終的結(jié)果是用戶要求按照每周的時(shí)間序列匯總輸出，那么你就要將結(jié)果以周為單位進(jìn)行匯總保存。
●為了達(dá)到這個(gè)目標(biāo)，大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)庫(kù)建模就要在滿足用例的前提下進(jìn)行。例如，大數(shù)據(jù)系統(tǒng)經(jīng)常會(huì)輸出一些結(jié)構(gòu)化的數(shù)據(jù)表，這樣在展示輸出上就有很大的優(yōu)勢(shì)。
●更常見的是，這可能會(huì)這將會(huì)讓用戶感覺到性能問(wèn)題。例如用戶只需要上周的數(shù)據(jù)匯總結(jié)果，如果在數(shù)據(jù)規(guī)模較大的時(shí)候按照每周來(lái)匯總數(shù)據(jù)，這樣就會(huì)大大降低數(shù)據(jù)處理能力。
●一些框架提供了大數(shù)據(jù)查詢懶評(píng)價(jià)功能。在數(shù)據(jù)沒有在其他地方被使用時(shí)效果不錯(cuò)。
●實(shí)時(shí)監(jiān)控系統(tǒng)的性能，這樣能夠幫助你預(yù)估作業(yè)的完成時(shí)間。
6.數(shù)據(jù)可視化和展示中的性能技巧
精心設(shè)計(jì)的高性能大數(shù)據(jù)系統(tǒng)通過(guò)對(duì)數(shù)據(jù)的深入分析，能夠提供有價(jià)值戰(zhàn)略指導(dǎo)。這就是可視化的用武之地。良好的可視化幫助用戶獲取數(shù)據(jù)的多維度透視視圖。
需要注意的是傳統(tǒng)的BI和報(bào)告工具，或用于構(gòu)建自定義報(bào)表系統(tǒng)無(wú)法大規(guī)模擴(kuò)展?jié)M足大數(shù)據(jù)系統(tǒng)的可視化需求。同時(shí)，許多COTS可視化工具現(xiàn)已上市。
本文將不會(huì)對(duì)這些個(gè)別工具如何進(jìn)行調(diào)節(jié)，而是聚焦在一些通用的技術(shù)，幫助您能打造可視化層。
●確?？梢暬瘜语@示的數(shù)據(jù)都是從最后的匯總輸出表中取得的數(shù)據(jù)。這些總結(jié)表可以根據(jù)時(shí)間短進(jìn)行匯總，建議使用分類或者用例進(jìn)行匯總。這么做可以避免直接從可視化層讀取整個(gè)原始數(shù)據(jù)。
●這不僅最大限度地減少數(shù)據(jù)傳輸，而且當(dāng)用戶在線查看在報(bào)告時(shí)還有助于避免性能卡頓問(wèn)題。
●重分利用大化可視化工具的緩存。緩存可以對(duì)可視化層的整體性能產(chǎn)生非常不錯(cuò)的影響。
●物化視圖是可以提高性能的另一個(gè)重要的技術(shù)。
●大部分可視化工具允許通過(guò)增加線程數(shù)來(lái)提高請(qǐng)求響應(yīng)的速度。如果資源足夠、訪問(wèn)量較大那么這是提高系統(tǒng)性能的好辦法。
●盡量提前將數(shù)據(jù)進(jìn)行預(yù)處理，如果一些數(shù)據(jù)必須在運(yùn)行時(shí)計(jì)算請(qǐng)將運(yùn)行時(shí)計(jì)算簡(jiǎn)化到最小。
●可視化工具可以按照各種各樣的展示方法對(duì)應(yīng)不同的讀取策略。其中一些是離線模式、提取模式或者在線連接模式。每種服務(wù)模式都是針對(duì)不同場(chǎng)景設(shè)計(jì)的。
●同樣，一些工具可以進(jìn)行增量數(shù)據(jù)同步。這最大限度地減少了數(shù)據(jù)傳輸，并將整個(gè)可視化過(guò)程固化下來(lái)。
●保持像圖形，圖表等使用最小的尺寸。
●大多數(shù)可視化框架和工具的使用可縮放矢量圖形(SVG)。使用SVG復(fù)雜的布局可能會(huì)產(chǎn)生嚴(yán)重的性能影響。
7.數(shù)據(jù)安全以及對(duì)于性能的影響
像任何IT系統(tǒng)一樣安全性要求也對(duì)大數(shù)據(jù)系統(tǒng)的性能有很大的影響。在本節(jié)中，我們討論一下安全對(duì)大數(shù)據(jù)平臺(tái)性能的影響。
– 首先確保所有的數(shù)據(jù)源都是經(jīng)過(guò)認(rèn)證的。即使所有的數(shù)據(jù)源都是安全的，并且沒有針對(duì)安全方面的需求，那么你可以靈活設(shè)計(jì)一個(gè)安全模塊來(lái)配置實(shí)現(xiàn)。
– 數(shù)據(jù)進(jìn)過(guò)一次認(rèn)證，那么就不要進(jìn)行二次認(rèn)證。如果實(shí)在需要進(jìn)行二次認(rèn)證，那么使用一些類似于token的技術(shù)保存下來(lái)以便后續(xù)繼續(xù)使用。這將節(jié)省數(shù)據(jù)一遍遍認(rèn)證的開銷。
– 您可能需要支持其他的認(rèn)證方式，例如基于PKI解決方案或Kerberos。每一個(gè)都有不同的性能指標(biāo)，在最終方案確定前需要將其考慮進(jìn)去。
– 通常情況下數(shù)據(jù)壓縮后進(jìn)入大數(shù)據(jù)處理系統(tǒng)。這么做好處非常明顯不細(xì)說(shuō)。
– 針對(duì)不同算法的效率、對(duì)cpu的使用量你需要進(jìn)行比較來(lái)選出一個(gè)傳輸量、cpu使用量等方面均衡的壓縮算法。
– 同樣，評(píng)估加密邏輯和算法，然后再選擇。
– 明智的做法是敏感信息始終進(jìn)行限制。
– 在審計(jì)跟蹤表或登錄時(shí)您可能需要維護(hù)記錄或類似的訪問(wèn)，更新等不同的活動(dòng)記錄。這可能需要根據(jù)不同的監(jiān)管策略和用戶需求個(gè)性化的進(jìn)行設(shè)計(jì)和修改。
– 注意，這種需求不僅增加了數(shù)據(jù)處理的復(fù)雜度，但會(huì)增加存儲(chǔ)成本。
– 盡量使用下層提供的安全技術(shù)，例如操作系統(tǒng)、數(shù)據(jù)庫(kù)等。這些安全解決方案會(huì)比你自己設(shè)計(jì)開發(fā)性能要好很多。
8.總結(jié)
本文介紹了各種性能方面的技巧，這些技術(shù)性的知道可以作為打造大數(shù)據(jù)分析平臺(tái)的一般準(zhǔn)則。大數(shù)據(jù)分析平臺(tái)非常復(fù)雜，為了滿足這種類型系統(tǒng)的性能需求，需要我們從開始建設(shè)的時(shí)候進(jìn)行考量。
本文介紹的技術(shù)準(zhǔn)則可以用在大數(shù)據(jù)平臺(tái)建設(shè)的各個(gè)不同階段，包括安全如何影響大數(shù)據(jù)分析平臺(tái)的性能。
處理大量數(shù)據(jù)并發(fā)操作可以采用如下幾種方法:
1.使用緩存：使用程序直接保存到內(nèi)存中。或者使用緩存框架: 用一個(gè)特定的類型值來(lái)保存，以區(qū)別空數(shù)據(jù)和未緩存的兩種狀態(tài)。
2.數(shù)據(jù)庫(kù)優(yōu)化：表結(jié)構(gòu)優(yōu)化;SQL語(yǔ)句優(yōu)化，語(yǔ)法優(yōu)化和處理邏輯優(yōu)化;分區(qū);分表;索引優(yōu)化;使用存儲(chǔ)過(guò)程代替直接操作。
3.分離活躍數(shù)據(jù):可以分為活躍用戶和不活躍用戶。
4.批量讀取和延遲修改: 高并發(fā)情況可以將多個(gè)查詢請(qǐng)求合并到一個(gè)。高并發(fā)且頻繁修改的可以暫存緩存中。
5.讀寫分離: 數(shù)據(jù)庫(kù)服務(wù)器配置多個(gè)，配置主從數(shù)據(jù)庫(kù)。寫用主數(shù)據(jù)庫(kù)，讀用從數(shù)據(jù)庫(kù)。
6.分布式數(shù)據(jù)庫(kù): 將不同的表存放到不同的數(shù)據(jù)庫(kù)中，然后再放到不同的服務(wù)器中。
7.NoSql和Hadoop: NoSql，not only SQL。沒有關(guān)系型數(shù)據(jù)庫(kù)那么多限制，比較靈活高效。Hadoop，將一個(gè)表中的數(shù)據(jù)分層多塊，保存到多個(gè)節(jié)點(diǎn)（分布式）。每一塊數(shù)據(jù)都有多個(gè)節(jié)點(diǎn)保存（集群）。集群可以并行處理相同的數(shù)據(jù)，還可以保證數(shù)據(jù)的完整性。
拓展資料:
大數(shù)據(jù)（big data），指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。
在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價(jià)值密度）、Veracity（真實(shí)性）。
參考資料:網(wǎng)頁(yè)鏈接
1、讀取和查詢都十分方便
傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)采用表格的儲(chǔ)存方式， 數(shù)據(jù)以行和列的方式進(jìn)行存儲(chǔ)，要讀取和查詢都十分方便。而非關(guān)系型數(shù)據(jù)不適合這樣的表格存儲(chǔ)方式，通常以數(shù)據(jù)集的方式，大量的數(shù)據(jù)集中存儲(chǔ)在一起，類似于鍵值對(duì)、圖結(jié)構(gòu)或者文檔。
2、存儲(chǔ)結(jié)構(gòu)穩(wěn)定
關(guān)系型數(shù)據(jù)庫(kù)按照結(jié)構(gòu)化的方法存儲(chǔ)數(shù)據(jù)， 每個(gè)數(shù)據(jù)表都必須對(duì)各個(gè)字段定義好（也就是先定義好表的結(jié)構(gòu)），再根據(jù)表的結(jié)構(gòu)存入數(shù)據(jù)，這樣做的好處就是由于數(shù)據(jù)的形式和內(nèi)容在存入數(shù)據(jù)之前就已經(jīng)定義好了，所以整個(gè)數(shù)據(jù)表的可靠性和穩(wěn)定性都比較高。
3、存儲(chǔ)規(guī)范
關(guān)系型數(shù)據(jù)庫(kù)為了避免重復(fù)、規(guī)范化數(shù)據(jù)以及充分利用好存儲(chǔ)空間，把數(shù)據(jù)按照最小關(guān)系表的形式進(jìn)行存儲(chǔ)，這樣數(shù)據(jù)管理的就可以變得很清晰、一目了然，當(dāng)然這主要是一張數(shù)據(jù)表的情況。
如果是多張表情況就不一樣了，由于數(shù)據(jù)涉及到多張數(shù)據(jù)表，數(shù)據(jù)表之間存在著復(fù)雜的關(guān)系，隨著數(shù)據(jù)表數(shù)量的增加，數(shù)據(jù)管理會(huì)越來(lái)越復(fù)雜。而NoSQL數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方式是用平面數(shù)據(jù)集的方式集中存放，雖然會(huì)存在數(shù)據(jù)被重復(fù)存儲(chǔ)，從而造成存儲(chǔ)空間被浪費(fèi)的問(wèn)題。
4、存儲(chǔ)資源
NoSQL數(shù)據(jù)庫(kù)由于使用的是數(shù)據(jù)集的存儲(chǔ)方式，它的存儲(chǔ)方式一定是分布式的，它可以采用橫向的方式來(lái)開展數(shù)據(jù)庫(kù)，也就是可以添加更多數(shù)據(jù)庫(kù)服務(wù)器到資源池，然后由這些增加的服務(wù)器來(lái)負(fù)擔(dān)數(shù)據(jù)量增加的開銷。
5、實(shí)現(xiàn)了數(shù)據(jù)共享
數(shù)據(jù)共享包含所有用戶可同時(shí)存取數(shù)據(jù)庫(kù)中的數(shù)據(jù)，也包括用戶可以用各種方式通過(guò)接口使用數(shù)據(jù)庫(kù)，并提供數(shù)據(jù)共享。
6、減少了數(shù)據(jù)的冗余度
同文件系統(tǒng)相比，由于數(shù)據(jù)庫(kù)實(shí)現(xiàn)了數(shù)據(jù)共享，從而避免了用戶各自建立應(yīng)用文件。減少了大量重復(fù)數(shù)據(jù)，減少了數(shù)據(jù)冗余，維護(hù)了數(shù)據(jù)的一致性。
重慶分公司
重慶分公司
