真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)-創(chuàng)新互聯(lián)

這篇文章主要介紹了如何構(gòu)建基于Ceph對(duì)象存儲(chǔ),具有一定借鑒價(jià)值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)是一家專注于網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站與策劃設(shè)計(jì),灌陽(yáng)網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)10多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:灌陽(yáng)等地區(qū)。灌陽(yáng)做網(wǎng)站價(jià)格咨詢:18980820575

存儲(chǔ)發(fā)展

數(shù)據(jù)存儲(chǔ)是人類永恒的話題和不斷探索的主題

  • 繩結(jié)記事

    原始社會(huì),文字未發(fā)明之前 ,人們所使用的一種記事方法,在繩子上打結(jié)記事。

  • 穿孔卡

    穿孔卡片是始于20世紀(jì)的主要存儲(chǔ)方法,也是最早的機(jī)械化信息存儲(chǔ)形式,進(jìn)入20世紀(jì)60年代后,逐漸被其他存儲(chǔ)手段取代。目前穿孔卡片已經(jīng)極少使用,除非用于讀出當(dāng)年存儲(chǔ)的歷史數(shù)據(jù)。

  • 磁鼓存儲(chǔ)器

    20世紀(jì)50年代,磁鼓作為內(nèi)存儲(chǔ)器應(yīng)用于IBM 650。在后續(xù)的IBM 360/91和DEC PDP-11中,磁鼓也用作交換區(qū)存儲(chǔ)和頁(yè)面存儲(chǔ)。磁鼓的代表性產(chǎn)品是IBM 2301固定頭磁鼓存儲(chǔ)器。磁鼓是利用鋁鼓筒表面涂覆的磁性材料來(lái)存儲(chǔ)數(shù)據(jù)的。鼓筒旋轉(zhuǎn)速度很高,因此存取速度快。它采用飽和磁記錄,從固定式磁頭發(fā)展到浮動(dòng)式磁頭,從采用磁膠發(fā)展到采用電鍍的連續(xù)磁介質(zhì)。這些都為后來(lái)的磁盤存儲(chǔ)器打下了基礎(chǔ)。

    磁鼓大的缺點(diǎn)是存儲(chǔ)容量太小。一個(gè)大圓柱體只有表面一層用于存儲(chǔ),而磁盤的兩面都可用來(lái)存儲(chǔ),顯然利用率要高得多。因此,當(dāng)磁盤出現(xiàn)后,磁鼓就被淘汰了。

  • 磁帶

    磁帶是從1951年起被作為數(shù)據(jù)存儲(chǔ)設(shè)備使用的,磁帶是所有存儲(chǔ)媒體中單位存儲(chǔ)成本最低、容量大、標(biāo)準(zhǔn)化程度最高的常用存儲(chǔ)介質(zhì)之一。從 20 世紀(jì) 70 年代后期到 80 年代出現(xiàn)了小型的盒式磁帶,長(zhǎng)度為 90 分鐘的磁帶每一面可以記錄大約 660KB的數(shù)據(jù)。

  • 軟盤

    軟盤發(fā)明于1969年,直徑是8英寸,單面容量80KB。4年后,5.25英寸、容量為320KB的軟盤誕生了。軟盤的發(fā)展趨勢(shì)是盤片直徑越來(lái)越小,而容量卻越來(lái)越大,可靠性也越來(lái)越高。圖2-10是三種典型的軟盤,其中a為不同外觀尺寸的軟盤,b中3.5英寸軟盤的容量為1.44MB,曾經(jīng)作為主要的移動(dòng)存儲(chǔ)介質(zhì)被廣泛使用。到了20世紀(jì)90年代后期,出現(xiàn)了容量為250MB的3.5英寸軟盤產(chǎn)品,但由于兼容性、可靠性、成本等原因,并未被廣泛使用,如今已難尋蹤跡。

  • 光盤

    早期光盤主要用于電影行業(yè),第一張光盤于1987年進(jìn)入市場(chǎng), 直徑為30cm,每一面可以記錄60分鐘的音視頻。

  • 硬盤存儲(chǔ)器

    第一款硬盤驅(qū)動(dòng)器是IBM Model 350 Disk File, 于 1956 年制造,包含了 50 張 24 英寸的盤片,總?cè)萘坎坏?MB,機(jī)械硬盤發(fā)展至今,單盤容量已經(jīng)超過(guò)16T了 。

存儲(chǔ)的三種方式

塊存儲(chǔ)

如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)

DAS

直接附加存儲(chǔ)(Directed Attached Storage,DAS)作為一種最簡(jiǎn)單的外接存儲(chǔ)方式,通過(guò)數(shù)據(jù)線直接連接在各種服務(wù)器或客戶端擴(kuò)展接口上。它本身是硬件的堆疊,不帶有任何存儲(chǔ)操作系統(tǒng),因而也不能獨(dú)立于服務(wù)器對(duì)外提供存儲(chǔ)服務(wù)。DAS常見的形式是外置磁盤陣列,通常的配置就是RAID控制器+一堆磁盤。DAS安裝方便、成本較低的特性使其特別適合于對(duì)存儲(chǔ)容量要求不高、服務(wù)器數(shù)量較少的中小型數(shù)據(jù)中心。

SAN

存儲(chǔ)區(qū)域網(wǎng)絡(luò)(Storage Area Network,簡(jiǎn)稱SAN),SAN默認(rèn)指FC-SAN,SAN存儲(chǔ)有兩種結(jié)構(gòu):

  • FC-SAN

    典型的SAN利用光纖通道(Fiber Channel,F(xiàn)C)技術(shù)連接節(jié)點(diǎn),并使用光纖通道交換機(jī)(FC Switch)提供網(wǎng)絡(luò)交換。不同于通用的數(shù)據(jù)網(wǎng)絡(luò),存儲(chǔ)區(qū)域網(wǎng)絡(luò)中的數(shù)據(jù)傳輸基于FC協(xié)議棧。在FC協(xié)議棧之上運(yùn)行的SCSI協(xié)議提供存儲(chǔ)訪問(wèn)服務(wù)。與之相對(duì)的iSCSI存儲(chǔ)協(xié)議,則提供了一種低成本的替代方式,即將SCSI協(xié)議運(yùn)行于TCP/IP協(xié)議棧之上。為了區(qū)別這兩種存儲(chǔ)區(qū)域網(wǎng)絡(luò),前者通常稱為FC SAN,后者稱為IP SAN。

  • IP-SAN

    由于FC-SAN的高成本,人們就開始考慮構(gòu)建基于以太網(wǎng)技術(shù)的存儲(chǔ)網(wǎng)絡(luò),使得的iSCSI可以實(shí)現(xiàn)在IP網(wǎng)絡(luò)上運(yùn)行SCSI協(xié)議。但是在SAN中,傳輸?shù)闹噶钍?SCSI的讀寫指令,不是IP數(shù)據(jù)包。iSCSI(互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口)是一種在TCP/IP上進(jìn)行數(shù)據(jù)塊傳輸?shù)臉?biāo)準(zhǔn)。它是由Cisco和IBM兩家發(fā)起的,并且得到了各大存儲(chǔ)廠商的大力支持。iSCSI可以實(shí)現(xiàn)在IP網(wǎng)絡(luò)上運(yùn)行SCSI協(xié)議,使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行快速的數(shù)據(jù)存取備份操作。為了與之前基于光纖技術(shù)的FC SAN區(qū)分開來(lái),這種技術(shù)被稱為IP SAN。

優(yōu)點(diǎn)
  • 高性能,集中化的管理,穩(wěn)定性和安全性得到保障

缺點(diǎn)
  • 成本昂貴,磁盤陣列的兼容性限制了設(shè)備選擇空間及資源共享

NAS存儲(chǔ)

如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)

圖片來(lái)源:redhat官網(wǎng)

Network Attached Storage 網(wǎng)絡(luò)附加存儲(chǔ),采用 NFSCIFS 協(xié)議訪問(wèn)數(shù)據(jù),以文件為傳輸協(xié)議,通過(guò) TCP/IP實(shí)現(xiàn)網(wǎng)絡(luò)化存儲(chǔ),可擴(kuò)展性好、價(jià)格便宜、用戶易管理,如目前在集群計(jì)算中應(yīng)用較多的NFS文件系統(tǒng)。

優(yōu)點(diǎn)
  • 造價(jià)成本低,有一個(gè)服務(wù)器,裝上網(wǎng)絡(luò)文件存儲(chǔ)軟件,就可以提供給其他服務(wù)器掛載訪問(wèn)。

  • 文件級(jí)的數(shù)據(jù)共享

缺點(diǎn)
  • 讀寫速率低

對(duì)象存儲(chǔ)

如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)

塊存儲(chǔ)讀寫快、不利于數(shù)據(jù)共享,文件存儲(chǔ)數(shù)據(jù)共享方便、但是讀寫慢,能否弄一個(gè)讀寫快而且可以共享數(shù)據(jù)的存儲(chǔ),于是對(duì)象存儲(chǔ)就誕生了。塊存儲(chǔ)和文件存儲(chǔ)是我們比較熟悉的兩種主流的存儲(chǔ)類型,而對(duì)象存儲(chǔ)(Object-based Storage)是一種新的網(wǎng)絡(luò)存儲(chǔ)架構(gòu)。

3個(gè)核心概念
對(duì)象

對(duì)象是對(duì)象存儲(chǔ)中的最小單元,比如照片就是一個(gè)對(duì)象,對(duì)象由元數(shù)據(jù)信息(MataData,包含Length,lastModify等),用戶數(shù)據(jù)(Data),用戶自定義的數(shù)據(jù)信息(拍攝者、拍攝設(shè)備等)和文件名(Key)組成。

如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)

存儲(chǔ)桶

作為存放對(duì)象的容器

用戶

對(duì)象存儲(chǔ)的使用者,存儲(chǔ)桶的擁有者,每個(gè)用戶使用AccessKeyId 和 SecretAccessKey對(duì)稱加密的方法來(lái)驗(yàn)證某個(gè)請(qǐng)求的發(fā)送者身份。

對(duì)象存儲(chǔ)適合存什么

用來(lái)存海量非結(jié)構(gòu)化數(shù)據(jù)的,對(duì)象存儲(chǔ)將數(shù)據(jù)以對(duì)象的方式存儲(chǔ),而不是以傳統(tǒng)的文件和數(shù)據(jù)塊的形式存儲(chǔ),每個(gè)對(duì)象都要存儲(chǔ)數(shù)據(jù)、元數(shù)據(jù)和一個(gè)唯一的標(biāo)識(shí)符。

  • 圖片

  • 視頻

  • 音頻

  • 文檔

  • 代碼js/html

缺點(diǎn)

應(yīng)用代碼需要改動(dòng),無(wú)法修改對(duì)象,需要一次性完整寫入

優(yōu)點(diǎn)

無(wú)限擴(kuò)容

基于Ceph的對(duì)象存儲(chǔ)構(gòu)建實(shí)踐

什么是Ceph

加州大學(xué) Santa Cruz 分校的 Sage Weil(DreamHost 的聯(lián)合創(chuàng)始人)博士論文設(shè)計(jì)的新一代自由軟件分布式文件系統(tǒng)。軟件定義存儲(chǔ)(Software Defined Storage, SDS)。統(tǒng)一的存儲(chǔ)解決方案。 提供了三種存儲(chǔ)方式:塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)。Ceph的架構(gòu)如下:

如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)

圖片來(lái)源:Ceph官網(wǎng)

Ceph組件

Ceph Monitor(監(jiān)視器,簡(jiǎn)稱Mon)

Mon通過(guò)保存一份集群狀態(tài)映射來(lái)的維護(hù)整個(gè)集群的健康狀態(tài)。它分別為每個(gè)組件維護(hù)映射信息。所有集群節(jié)點(diǎn)都向Mon節(jié)點(diǎn)匯報(bào)狀態(tài)信息

RADOS

(Reliable Autonomix Distributed Object Store),是存儲(chǔ)集群的基礎(chǔ)。在Ceph中所有的數(shù)據(jù)都是以對(duì)象的形式存儲(chǔ),RADOS就負(fù)責(zé)存這些數(shù)據(jù),不考慮它們的類型。

Ceph對(duì)象存儲(chǔ)設(shè)備OSD

Ceph 分布式對(duì)象存儲(chǔ)系統(tǒng)的對(duì)象存儲(chǔ)守護(hù)進(jìn)程。它負(fù)責(zé)把對(duì)象存儲(chǔ)到本地文件系統(tǒng),并使之通過(guò)網(wǎng)絡(luò)可訪問(wèn)。

RADOS網(wǎng)關(guān)(RGW)

提供了兼容Amazon S3和OpenStack對(duì)象存儲(chǔ)API(Swift)的restful API接口。支持多租戶和OpenStack Keystone身份驗(yàn)證。

MDS(Ceph元數(shù)據(jù)服務(wù)器)

為CephFS跟蹤文件層次結(jié)構(gòu)和存儲(chǔ)元數(shù)據(jù)。

librados

librados庫(kù)為PHP,Ruby,Java,Python,C和C++這些編程語(yǔ)言提供了方便地訪問(wèn)RADOS接口的方式。

RBD(RADOS塊設(shè)備)

Ceph塊設(shè)備,原名是 RADOS 塊設(shè)備,提供可靠的分布式和高性能塊存儲(chǔ)磁盤給客戶端,將塊數(shù)據(jù)以順序條帶化的形式分散存儲(chǔ)在的多個(gè) OSD 上,支持自動(dòng)精簡(jiǎn)配置、動(dòng)態(tài)調(diào)整大小、完整和增量快照、寫實(shí)復(fù)制克隆等企業(yè)級(jí)特性,而且RBD服務(wù)已經(jīng)被封裝成了基于 librados 的一個(gè)原生接口。

CephFS(Ceph Filesystem)

Ceph  文件系統(tǒng)提供了一個(gè)使用Ceph存儲(chǔ)集群存儲(chǔ)用戶數(shù)據(jù)的與POSIX兼容的文件系統(tǒng)。和RBD、RGW一樣,基于librados封裝了原生接口。

Ceph的特點(diǎn)

  • 高性能

    摒棄了傳統(tǒng)的集中式存儲(chǔ)元數(shù)據(jù)尋址的方案,采用CRUSH算法,數(shù)據(jù)分布均衡,并行度高。

  • 高可用性

    數(shù)據(jù)強(qiáng)一致性,多種故障場(chǎng)景自愈

  • 高擴(kuò)展性

    去中心化、靈活擴(kuò)展

  • 特性豐富

    支持三種存儲(chǔ)接口:塊存儲(chǔ)、對(duì)象存儲(chǔ)、文件存儲(chǔ)

    支持多種語(yǔ)言(Python、C++、Java、PHP、Ruby等)驅(qū)動(dòng),自定義接口

基于Ceph的對(duì)象存儲(chǔ)實(shí)踐

客戶端通過(guò) 4,7 層負(fù)載均衡,基于HTTP協(xié)議,將請(qǐng)求轉(zhuǎn)發(fā)至對(duì)象存儲(chǔ)網(wǎng)關(guān)(Rados GateWay), 對(duì)象存儲(chǔ)網(wǎng)關(guān)通過(guò)Sockets與集群通信,至此,完成了整個(gè)數(shù)據(jù)的傳輸。

如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)

用戶認(rèn)證

如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)

  1. 應(yīng)用在發(fā)送請(qǐng)求前,使用用戶私有秘鑰(secret key)、請(qǐng)求內(nèi)容等,采用與RGW網(wǎng)關(guān)約定好的算法計(jì)算出數(shù)字簽名后,將數(shù)字簽名以及用戶訪問(wèn)秘鑰access_key封裝在請(qǐng)求中發(fā)送給RGW網(wǎng)關(guān)

  2. RGW網(wǎng)關(guān)接受到請(qǐng)求后,使用用戶訪問(wèn)秘鑰作為索引送RADOS集群中讀取用戶信息,并從用戶信息中獲取到用戶私有秘鑰。

  3. 使用用戶私有秘鑰、請(qǐng)求內(nèi)容等,采用與應(yīng)用約定好的算法計(jì)算數(shù)字簽名。

  4. 判斷RGW生成的數(shù)字簽名和請(qǐng)求的簽名是否匹配,如果匹配,則認(rèn)為請(qǐng)求是真實(shí)的,用戶認(rèn)證通過(guò),如果匹配返回 S3 error: 403 (SignatureDoesNotMatch)

對(duì)象存儲(chǔ)IO路徑分析

如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)

應(yīng)用通過(guò)http協(xié)議將請(qǐng)求發(fā)送至對(duì)象存儲(chǔ)網(wǎng)關(guān),網(wǎng)關(guān)收到 I/O 請(qǐng)求后,從http語(yǔ)義中解析出S3或Swift數(shù)據(jù)并進(jìn)行一系列檢查,檢查通過(guò)后,根據(jù)不同API操作請(qǐng)求執(zhí)行不同的數(shù)據(jù)處理邏輯,通過(guò) librados 接口從 RADOS Cluster中 GET 或者 PUT 數(shù)據(jù),完成整個(gè)I/O過(guò)程。

感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)”這篇文章對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián),關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道,更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!


當(dāng)前文章:如何構(gòu)建基于Ceph對(duì)象存儲(chǔ)-創(chuàng)新互聯(lián)
鏈接URL:http://weahome.cn/article/jgppg.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部