云數(shù)據(jù)庫(kù)，是一種“穩(wěn)定可靠、可彈性伸縮”的在線數(shù)據(jù)庫(kù)服務(wù)。云數(shù)據(jù)庫(kù)，基于云計(jì)算平臺(tái)，提供數(shù)據(jù)庫(kù)的變更、查詢和計(jì)算等服務(wù)。這種服務(wù)不僅能夠幫助用戶從繁瑣的硬件、軟件配置上解脫出來，還可以簡(jiǎn)化軟件、硬件的升級(jí)，具有普通數(shù)據(jù)庫(kù)所不具有的特點(diǎn)和功能。
本篇帶你了解云數(shù)據(jù)庫(kù)涉及的幾個(gè)關(guān)鍵技術(shù)，如：數(shù)據(jù)庫(kù)的擴(kuò)展、大規(guī)模數(shù)據(jù)庫(kù)的實(shí)現(xiàn)、共享型和分布式數(shù)據(jù)庫(kù)，以及智能運(yùn)維和數(shù)據(jù)化管理等。
一、 數(shù)據(jù)庫(kù)的擴(kuò)展
當(dāng)數(shù)據(jù)庫(kù)的存儲(chǔ)容量不足或者性能有待提升時(shí)，需要進(jìn)行數(shù)據(jù)庫(kù)擴(kuò)展。數(shù)據(jù)庫(kù)擴(kuò)展，有“向上擴(kuò)展”和“橫向擴(kuò)展”兩種方式。
向上擴(kuò)展，指的是通過數(shù)據(jù)庫(kù)的調(diào)優(yōu)或者硬件調(diào)優(yōu)等方式，提高單機(jī)性能。向上擴(kuò)展，主要針對(duì)單個(gè)節(jié)點(diǎn)進(jìn)行優(yōu)化，實(shí)現(xiàn)數(shù)據(jù)庫(kù)的擴(kuò)展。橫向擴(kuò)展，則不再局限于提升單機(jī)性能，而是實(shí)現(xiàn)分布式的數(shù)據(jù)庫(kù)，利用多機(jī)器解決數(shù)據(jù)庫(kù)擴(kuò)展的問題。
向上擴(kuò)展和橫向擴(kuò)展，是從不同角度對(duì)數(shù)據(jù)庫(kù)進(jìn)行的擴(kuò)展。打個(gè)比方，一個(gè)30層的樓房可以容納200人，現(xiàn)在又有200人需要入住。向上擴(kuò)展的方式，是在原有30層樓房的基礎(chǔ)上，再添加30層，供新老住戶居?。欢鴻M向擴(kuò)展的方式則是，額外再建一棟30層的樓房，給新來的200人入住。
在大數(shù)據(jù)時(shí)代，傳統(tǒng)向上擴(kuò)展的方式，只提升和優(yōu)化單個(gè)節(jié)點(diǎn)的性能，已經(jīng)很難滿足用戶的需求。而且向上擴(kuò)展的方式，數(shù)據(jù)在遷移時(shí)不得不停機(jī)，會(huì)造成服務(wù)中斷。橫向擴(kuò)展的方式，只需增加節(jié)點(diǎn)，使得數(shù)據(jù)庫(kù)的擴(kuò)展工作大大簡(jiǎn)化。當(dāng)有節(jié)點(diǎn)發(fā)生故障時(shí)，系統(tǒng)自動(dòng)檢測(cè)故障，并轉(zhuǎn)移故障節(jié)點(diǎn)的應(yīng)用，提高數(shù)據(jù)庫(kù)的可靠性和高可用性。
二、 大規(guī)模數(shù)據(jù)庫(kù)的實(shí)現(xiàn)
在大數(shù)據(jù)時(shí)代，海量數(shù)據(jù)的存儲(chǔ)和訪問，成為數(shù)據(jù)庫(kù)設(shè)計(jì)的瓶頸，傳統(tǒng)的方式已無法滿足大數(shù)據(jù)的需求。要實(shí)現(xiàn)超大規(guī)模的數(shù)據(jù)庫(kù)，可采用“負(fù)載均衡技術(shù)、讀寫分離技術(shù)、數(shù)據(jù)庫(kù)/數(shù)據(jù)表拆分技術(shù)”等。
1、 負(fù)載均衡技術(shù)
顧名思義，負(fù)載均衡就是平衡各節(jié)點(diǎn)/單元的工作負(fù)載，以達(dá)到提高整個(gè)系統(tǒng)資源利用率的目的。利用負(fù)載均衡技術(shù)，可以將大量并發(fā)訪問或數(shù)據(jù)流量等任務(wù)，分配到多個(gè)節(jié)點(diǎn)單元上分別處理，以縮短反應(yīng)時(shí)間，或者將單個(gè)負(fù)載嚴(yán)重的節(jié)點(diǎn)的工作任務(wù)，分配到其他節(jié)點(diǎn)進(jìn)行處理。
負(fù)載均衡技術(shù)，通常用于集群系統(tǒng)中，該系統(tǒng)由多臺(tái)計(jì)算機(jī)構(gòu)成，系統(tǒng)之間通過網(wǎng)絡(luò)進(jìn)行連接。對(duì)內(nèi)，各個(gè)節(jié)點(diǎn)相互協(xié)作，均衡負(fù)載；對(duì)外，則表現(xiàn)為超強(qiáng)性能的服務(wù)器。
在云數(shù)據(jù)庫(kù)中實(shí)現(xiàn)負(fù)載均衡，首先需要一個(gè)連接數(shù)據(jù)庫(kù)的控制端，作為中間層。外部的所有請(qǐng)求，訪問中間層，再由中間層來訪問數(shù)據(jù)庫(kù)。中間層可以設(shè)置有效的均衡策略，控制每次訪問哪個(gè)數(shù)據(jù)庫(kù)。此外，在云數(shù)據(jù)庫(kù)中，負(fù)載均衡技術(shù)要解決的另一個(gè)問題是，數(shù)據(jù)的實(shí)時(shí)和同步。
負(fù)載均衡技術(shù)，使得數(shù)據(jù)庫(kù)具有很強(qiáng)的擴(kuò)展性，只需要增加數(shù)據(jù)庫(kù)服務(wù)器即可。通過多臺(tái)服務(wù)器實(shí)現(xiàn)數(shù)據(jù)冗余，也保護(hù)了數(shù)據(jù)庫(kù)的安全性。
2、 讀寫分離技術(shù)
數(shù)據(jù)庫(kù)讀寫分離的原理，是將“讀操作”和“寫操作”對(duì)應(yīng)到不同的數(shù)據(jù)庫(kù)服務(wù)器上去，從而減輕了數(shù)據(jù)庫(kù)的壓力。一般由“主數(shù)據(jù)庫(kù)”對(duì)應(yīng)“寫操作”，“從數(shù)據(jù)庫(kù)”對(duì)應(yīng)“讀操作”。當(dāng)數(shù)據(jù)庫(kù)進(jìn)行“寫操作”時(shí)，需要同步到所有的數(shù)據(jù)庫(kù)中，從而保證數(shù)據(jù)的完整性。
數(shù)據(jù)庫(kù)的讀寫分離，需要實(shí)現(xiàn)數(shù)據(jù)復(fù)制，將一組數(shù)據(jù)拷貝到多個(gè)數(shù)據(jù)源，分布在多個(gè)數(shù)據(jù)庫(kù)服務(wù)器，從而保證不同地點(diǎn)的數(shù)據(jù)自動(dòng)更新，維持?jǐn)?shù)據(jù)的一致性。
但讀寫分離技術(shù)也存在一定的問題。例如：實(shí)時(shí)性差，“寫操作”進(jìn)行后，往往要隔一段時(shí)間才能訪問到最新的數(shù)據(jù)。尤其是在操作的數(shù)據(jù)量大時(shí)，同步效率明顯變差。所以，需要根據(jù)查詢的敏感程度區(qū)分業(yè)務(wù)，將可接受短期延遲的查詢分流到庫(kù)。
3、 數(shù)據(jù)庫(kù)/數(shù)據(jù)表拆分技術(shù)
數(shù)據(jù)庫(kù)/數(shù)據(jù)表拆分技術(shù)，是按照一定的規(guī)則，將同一個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)，分散到不同的數(shù)據(jù)庫(kù)中，通過“路由轉(zhuǎn)換”訪問特定的數(shù)據(jù)庫(kù)，從而將訪問分散到多臺(tái)數(shù)據(jù)庫(kù)服務(wù)器。
拆分技術(shù)，分為縱向拆分和橫向拆分?？v向拆分，是按照具體應(yīng)用的功能模塊進(jìn)行拆分，不同功能的模塊，分布在不同的數(shù)據(jù)庫(kù)中。橫向拆分，是將單個(gè)表的數(shù)據(jù)，分散到不同的數(shù)據(jù)庫(kù)。
縱向拆分，適合模塊劃分清晰的系統(tǒng)，但是僅僅按“功能模塊”進(jìn)行拆分，并不能有效緩解所有的訪問壓力，單表數(shù)據(jù)的操作，帶來的系統(tǒng)開銷仍然很大。此時(shí)，橫向拆分的方法，繼續(xù)將單表劃分成子表，可有效提升數(shù)據(jù)庫(kù)的操作效率。
三、 共享型和分布式數(shù)據(jù)庫(kù)
共享存儲(chǔ)是云計(jì)算時(shí)代對(duì)數(shù)據(jù)庫(kù)的創(chuàng)新，以“節(jié)約資源、降低開發(fā)成本”為目的。云數(shù)據(jù)庫(kù)的提供商和使用云數(shù)據(jù)庫(kù)的人，類似于“房東和租戶”的關(guān)系。用戶可以創(chuàng)建表、修改表，但是無法創(chuàng)建數(shù)據(jù)庫(kù)、修改數(shù)據(jù)庫(kù)，因?yàn)閿?shù)據(jù)庫(kù)供所有用戶使用，而單個(gè)用戶不具備修改的權(quán)限。
由于是共享存儲(chǔ)，用戶可以按需付費(fèi)，不必購(gòu)買整個(gè)數(shù)據(jù)庫(kù)。有多大的業(yè)務(wù)，就租賃多大的空間，按實(shí)際需求支付相應(yīng)的費(fèi)用。
共享型數(shù)據(jù)庫(kù)需要支持租戶隔離，并保障安全性。在遇到故障時(shí)，要提供“高可用性”保障，不影響對(duì)用戶的服務(wù)。當(dāng)用戶數(shù)據(jù)增長(zhǎng)超過租用容量時(shí)，還要能夠?yàn)橛脩舻臄?shù)據(jù)庫(kù)提供“無縫升級(jí)”的擴(kuò)容服務(wù)。
創(chuàng)新互聯(lián)新上線的云數(shù)據(jù)庫(kù)MySQL，和自家的云服務(wù)器、裸金屬服務(wù)器一樣，都支持和具備“彈性擴(kuò)展”的優(yōu)勢(shì)特點(diǎn)。用戶可根據(jù)自己具體的業(yè)務(wù)需求，以及業(yè)務(wù)的發(fā)展變化，按實(shí)際需要進(jìn)行配置上的彈性擴(kuò)展，支持配置無縫升級(jí)或降級(jí)。在進(jìn)行升、降級(jí)時(shí)并不會(huì)導(dǎo)致云數(shù)據(jù)庫(kù)服務(wù)的中斷，從而影響到用戶業(yè)務(wù)的正常運(yùn)轉(zhuǎn)。
分布式數(shù)據(jù)庫(kù)是數(shù)據(jù)庫(kù)技術(shù)和網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)物，目前逐漸向“客戶機(jī)/服務(wù)器模式”發(fā)展。分布式數(shù)據(jù)庫(kù)是一個(gè)數(shù)據(jù)的集合，這些數(shù)據(jù)在物理上分布在計(jì)算機(jī)網(wǎng)絡(luò)的不同節(jié)點(diǎn)，但在邏輯上卻屬于同一個(gè)系統(tǒng)。每個(gè)節(jié)點(diǎn)擁有獨(dú)立處理數(shù)據(jù)的能力，同時(shí)也至少參與到一個(gè)全局應(yīng)用當(dāng)中。所以分布式數(shù)據(jù)庫(kù)的特點(diǎn)是：物理分布性、邏輯整體性、場(chǎng)地自洽性以及場(chǎng)地之間的協(xié)作性。
分布式數(shù)據(jù)庫(kù)按照所使用的數(shù)據(jù)類型、數(shù)據(jù)庫(kù)管理系統(tǒng)，可分為“同構(gòu)同質(zhì)型、同構(gòu)異質(zhì)型、異構(gòu)型”。數(shù)據(jù)庫(kù)要把數(shù)據(jù)分散到不同的節(jié)點(diǎn)，就涉及到“數(shù)據(jù)分片”的技術(shù)，包括“水平分片、垂直分片、導(dǎo)出分片、混合分片”等。無論采用哪種分片方式，都必須滿足“完備性、可重構(gòu)、不相交”的條件。
分布式數(shù)據(jù)庫(kù)管理系統(tǒng)接收到用戶請(qǐng)求后，要決定將其分配到哪些計(jì)算機(jī)。如果目標(biāo)數(shù)據(jù)存儲(chǔ)在多個(gè)計(jì)算機(jī)節(jié)點(diǎn)上，就必須進(jìn)行分布式處理。由于采用“分布式”架構(gòu)，數(shù)據(jù)庫(kù)具有靈活的體系結(jié)構(gòu)、較好的可擴(kuò)展性，能夠適應(yīng)分布式的管理和控制結(jié)構(gòu)。
四、 智能運(yùn)維和數(shù)據(jù)化管理
由于集群規(guī)模和數(shù)據(jù)量增長(zhǎng)過快，業(yè)務(wù)環(huán)境愈發(fā)復(fù)雜，這給運(yùn)維工作帶來了巨大的挑戰(zhàn)。傳統(tǒng)的運(yùn)維平臺(tái)雖然能在故障發(fā)生時(shí)及時(shí)報(bào)告，但卻不具備預(yù)測(cè)的能力，無法發(fā)現(xiàn)潛在的風(fēng)險(xiǎn)。智能運(yùn)維和數(shù)據(jù)化管理，則可以彌補(bǔ)傳統(tǒng)運(yùn)維的不足，實(shí)現(xiàn)數(shù)據(jù)庫(kù)資源的統(tǒng)一監(jiān)控、運(yùn)維工作自動(dòng)化、智能化，挖掘和預(yù)測(cè)潛在的風(fēng)險(xiǎn)，快速定位和處理故障。
云數(shù)據(jù)庫(kù)涉及的關(guān)鍵技術(shù)！
智能運(yùn)維和數(shù)據(jù)化管理，通過主動(dòng)管理的方式，實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)庫(kù)的資源消耗、執(zhí)行成本等性能參數(shù)，及時(shí)發(fā)出警告并給出原因分析。通過對(duì)歷史數(shù)據(jù)自動(dòng)收集和匯總分析，當(dāng)數(shù)據(jù)庫(kù)運(yùn)行狀態(tài)偏離時(shí)，也能夠及時(shí)發(fā)出預(yù)警。通過預(yù)定義的標(biāo)準(zhǔn)，自動(dòng)檢測(cè)故障；通過預(yù)先設(shè)定的故障分析程序，自動(dòng)分析原因并提供相應(yīng)的解決方案，大大提升運(yùn)維和管理的效率。
常見的功能模塊如下：
⑴ 數(shù)據(jù)庫(kù)運(yùn)行成本監(jiān)控
數(shù)據(jù)庫(kù)運(yùn)行效率取決于數(shù)據(jù)庫(kù)SQL/NoSQL語句的運(yùn)行效率。當(dāng)某類應(yīng)用的SQL/NoSQL語句運(yùn)行效率下降、運(yùn)行成本增加、運(yùn)行時(shí)間突增時(shí)，發(fā)出預(yù)警并提供相應(yīng)的原因分析報(bào)告。
⑵ 數(shù)據(jù)庫(kù)性能監(jiān)控與分析
通過對(duì)數(shù)據(jù)庫(kù)過去幾周或幾個(gè)月的歷史性能數(shù)據(jù)的自動(dòng)收集、匯總分析，并生成數(shù)據(jù)庫(kù)性能基線，當(dāng)數(shù)據(jù)庫(kù)運(yùn)行狀態(tài)偏離性能基線時(shí)，發(fā)出預(yù)警。同時(shí)將資源消耗多的SQL/NoSQL語句定位、原因分析、整改建議方案產(chǎn)生、整改前后效果預(yù)測(cè)與優(yōu)化建議報(bào)表生成等功能實(shí)現(xiàn)自動(dòng)化。
⑶ 故障自動(dòng)分析、處理與回溯
通過給數(shù)據(jù)庫(kù)預(yù)先定義健康的標(biāo)準(zhǔn)，實(shí)時(shí)對(duì)數(shù)據(jù)庫(kù)運(yùn)行狀態(tài)進(jìn)行自檢，當(dāng)數(shù)據(jù)庫(kù)偏離健康標(biāo)準(zhǔn)時(shí)發(fā)出故障預(yù)警。同時(shí)，可調(diào)用預(yù)先設(shè)置的相關(guān)故障分析程序，自動(dòng)分析故障原因，并給出可能的解決方案，這極大縮短了故障處理時(shí)間；啟動(dòng)捕獲業(yè)務(wù)系統(tǒng)故障時(shí)間、交易信息及運(yùn)行數(shù)據(jù)，并在測(cè)試環(huán)境再次回放，實(shí)現(xiàn)故障現(xiàn)象回溯。
⑷ 數(shù)據(jù)庫(kù)容量監(jiān)控與分析
通過實(shí)時(shí)收集與存儲(chǔ)數(shù)據(jù)庫(kù)容量（如：空間消耗、并發(fā)連接數(shù)變化、內(nèi)存消耗）等基礎(chǔ)數(shù)據(jù)，進(jìn)行自動(dòng)分析。通過分析數(shù)據(jù)庫(kù)的歷史容量變化趨勢(shì)，能夠?qū)?shù)據(jù)庫(kù)即將出現(xiàn)的容量瓶頸，進(jìn)行提前預(yù)警。
創(chuàng)新互聯(lián)在今年春節(jié)期間，新上線了三款“云數(shù)據(jù)庫(kù)”的產(chǎn)品和服務(wù) ：云數(shù)據(jù)庫(kù)MySQL、云數(shù)據(jù)庫(kù)Redis以及云數(shù)據(jù)庫(kù)Memcached。其中，云數(shù)據(jù)庫(kù)MySQL是一種即開即用、穩(wěn)定可靠、可彈性伸縮的“在線數(shù)據(jù)庫(kù)服務(wù)”，具有多重安全防護(hù)措施和完善的性能監(jiān)控體系，并提供專業(yè)的數(shù)據(jù)庫(kù)備份、恢復(fù)及優(yōu)化方案，使企業(yè)與用戶能夠更加專注于應(yīng)用開發(fā)和業(yè)務(wù)發(fā)展。而云數(shù)據(jù)庫(kù)Redis，則是一種即開即用、穩(wěn)定可靠的高性能數(shù)據(jù)緩存服務(wù)，支持“主從熱備”，提供“自動(dòng)容災(zāi)切換、實(shí)例監(jiān)控、在線擴(kuò)容”等功能。另外一款云數(shù)據(jù)庫(kù)產(chǎn)品——云數(shù)據(jù)庫(kù)Memcached，是一種內(nèi)存級(jí)、持久化緩存服務(wù)，同樣支持“主從熱備”，提供“自動(dòng)容災(zāi)切換、實(shí)例監(jiān)控、在線擴(kuò)容”等功能。
重慶分公司
重慶分公司
