在2018年的Garnter技術(shù)成熟度曲線中，容器存儲(chǔ)出現(xiàn)在了技術(shù)觸發(fā)期，已經(jīng)開(kāi)始進(jìn)入大眾的視野。我相信，在未來(lái)的兩年內(nèi)，容器存儲(chǔ)會(huì)隨著Kubernetes的進(jìn)一步成熟和商業(yè)化，其地位會(huì)越來(lái)越重要。如何在五花八門(mén)的存儲(chǔ)產(chǎn)品中，選擇適合自己的一款，將會(huì)是IT大佬們必須要面對(duì)的問(wèn)題。本次分享將會(huì)從使用場(chǎng)景角度分析，如何評(píng)估容器存儲(chǔ)方案。
從用戶角度看，存儲(chǔ)就是一塊盤(pán)或者一個(gè)目錄，用戶不關(guān)心盤(pán)或者目錄如何實(shí)現(xiàn)，用戶要求非常“簡(jiǎn)單”，就是穩(wěn)定，性能好。為了能夠提供穩(wěn)定可靠的存儲(chǔ)產(chǎn)品，各個(gè)廠家推出了各種各樣的存儲(chǔ)技術(shù)和概念。為了能夠讓大家有一個(gè)整體認(rèn)識(shí)，本文先介紹存儲(chǔ)中的這些概念。
從存儲(chǔ)介質(zhì)角度，存儲(chǔ)介質(zhì)分為機(jī)械硬盤(pán)和固態(tài)硬盤(pán)（SSD）。機(jī)械硬盤(pán)泛指采用磁頭尋址的磁盤(pán)設(shè)備，包括SATA硬盤(pán)和SAS硬盤(pán)。由于采用磁頭尋址，機(jī)械硬盤(pán)性能一般，隨機(jī)IOPS一般在200左右，順序帶寬在150MB/s左右。固態(tài)硬盤(pán)是指采用Flash/DRAM芯片+控制器組成的設(shè)備，根據(jù)協(xié)議的不同，又分為SATA SSD，SAS SSD，PCIe SSD和NVMe SSD。
從產(chǎn)品定義角度，存儲(chǔ)分為本地存儲(chǔ)（DAS），網(wǎng)絡(luò)存儲(chǔ)（NAS），存儲(chǔ)局域網(wǎng)（SAN）和軟件定義存儲(chǔ)（SDS）四大類。
DAS就是本地盤(pán)，直接插到服務(wù)器上
NAS是指提供NFS協(xié)議的NAS設(shè)備，通常采用磁盤(pán)陣列+協(xié)議網(wǎng)關(guān)的方式
SAN跟NAS類似，提供SCSI/iSCSI協(xié)議，后端是磁盤(pán)陣列
SDS是一種泛指，包括分布式NAS（并行文件系統(tǒng)），ServerSAN等
從應(yīng)用場(chǎng)景角度，存儲(chǔ)分為文件存儲(chǔ)（Posix/MPI），塊存儲(chǔ)（iSCSI/Qemu）和對(duì)象存儲(chǔ)（S3/Swift）三大類。
Kubernetes是如何給存儲(chǔ)定義和分類呢？Kubernetes中跟存儲(chǔ)相關(guān)的概念有PersistentVolume （PV）和PersistentVolumeClaim（PVC），PV又分為靜態(tài)PV和動(dòng)態(tài)PV。靜態(tài)PV方式如下：
動(dòng)態(tài)PV需要引入StorageClass的概念，使用方式如下：
社區(qū)列舉出PersistentVolume的in-tree Plugin，如下圖所示。從圖中可以看到，Kubernetes通過(guò)訪問(wèn)模式給存儲(chǔ)分為三大類，RWO/ROX/RWX。這種分類將原有的存儲(chǔ)概念混淆，其中包含存儲(chǔ)協(xié)議，存儲(chǔ)開(kāi)源產(chǎn)品，存儲(chǔ)商業(yè)產(chǎn)品，公有云存儲(chǔ)產(chǎn)品等等。
如何將Kubernetes中的分類和熟知的存儲(chǔ)概念對(duì)應(yīng)起來(lái)呢？本文選擇將其和應(yīng)用場(chǎng)景進(jìn)行類比。
塊存儲(chǔ)通常只支持RWO，比如AWSElasticBlockStore，AzureDisk，有些產(chǎn)品能做到支持ROX，比如GCEPersistentDisk，RBD，ScaleIO等
文件存儲(chǔ)（分布式文件系統(tǒng)）支持RWO/ROX/RWX三種模式，比如CephFS，GlusterFS和AzureFile
對(duì)象存儲(chǔ)不需要PV/PVC來(lái)做資源抽象，應(yīng)用可以直接訪問(wèn)和使用
這里不得不吐槽Kubernetes社區(qū)前期對(duì)存儲(chǔ)層的抽象，一個(gè)字——亂，把開(kāi)源項(xiàng)目和商業(yè)項(xiàng)目都納入進(jìn)來(lái)?，F(xiàn)在社區(qū)已經(jīng)意識(shí)到問(wèn)題并設(shè)計(jì)了統(tǒng)一的存儲(chǔ)接口層——Flexvolume/CSI。目前來(lái)看，CSI將會(huì)是Kubernetes的主流，做了完整的存儲(chǔ)抽象層。
介紹完存儲(chǔ)概念之后，選擇哪種存儲(chǔ)仍然懸而未決。這個(gè)時(shí)候，請(qǐng)問(wèn)自己一個(gè)問(wèn)題，業(yè)務(wù)是什么類型？選擇合適的存儲(chǔ)，一定要清楚自己的業(yè)務(wù)對(duì)存儲(chǔ)的需求。本文整理了使用容器存儲(chǔ)的場(chǎng)景及其特點(diǎn)。
配置
無(wú)論集群配置信息還是應(yīng)用配置信息，其特點(diǎn)是并發(fā)訪問(wèn)，也就是前邊提到的ROX/RWX，在不同集群或者不同節(jié)點(diǎn)，都能夠訪問(wèn)同樣的配置文件，分布式文件存儲(chǔ)是最優(yōu)選擇。
日志
在容器場(chǎng)景中，日志是很重要的一部分內(nèi)容，其特點(diǎn)是高吞吐，有可能會(huì)產(chǎn)生大量小文件。如果有日志分析場(chǎng)景，還會(huì)有大量并發(fā)讀操作。分布式文件存儲(chǔ)是最優(yōu)選擇。
應(yīng)用（數(shù)據(jù)庫(kù)/消息隊(duì)列/大數(shù)據(jù)）
Kafka，MySQL，Cassandra，PostgreSQL，ElasticSearch，HDFS等應(yīng)用，本身具備了存儲(chǔ)數(shù)據(jù)的能力，對(duì)底層存儲(chǔ)的要求就是高IOPS，低延遲。底層存儲(chǔ)最好有數(shù)據(jù)冗余機(jī)制，上層應(yīng)用就可以避免復(fù)雜的故障和恢復(fù)處理。以HDFS為例，當(dāng)某個(gè)datanode節(jié)點(diǎn)掉線后，原有邏輯中，會(huì)選擇啟動(dòng)新的datanode，觸發(fā)恢復(fù)邏輯，完成數(shù)據(jù)副本補(bǔ)全，這段時(shí)間會(huì)比較長(zhǎng)，而且對(duì)業(yè)務(wù)影響也比較大。如果底層存儲(chǔ)有副本機(jī)制，HDFS集群就可以設(shè)置為單副本，datanode節(jié)點(diǎn)掉線后，啟動(dòng)新的datanode，掛載原有的pv，集群恢復(fù)正常，對(duì)業(yè)務(wù)的影響縮短為秒級(jí)。高性能分布式文件存儲(chǔ)和高性能分布式塊存儲(chǔ)是最優(yōu)選擇。
備份
應(yīng)用數(shù)據(jù)的備份或者數(shù)據(jù)庫(kù)的備份，其特點(diǎn)是高吞吐，數(shù)據(jù)量大，低成本。文件存儲(chǔ)和對(duì)象存儲(chǔ)最優(yōu)。
綜合應(yīng)用場(chǎng)景，高性能文件存儲(chǔ)是最優(yōu)選擇。
市面上的存儲(chǔ)產(chǎn)品種類繁多，但是對(duì)于容器場(chǎng)景，主要集中在4種方案：分布式文件存儲(chǔ)，分布式塊存儲(chǔ)，Local-Disk和傳統(tǒng)NAS。
分布式塊存儲(chǔ)包括開(kāi)源社區(qū)的Ceph，Sheepdog，商業(yè)產(chǎn)品中EMC的Scale IO，Vmware的vSAN等。分布式塊存儲(chǔ)不適合容器場(chǎng)景，關(guān)鍵問(wèn)題是缺失RWX的特性。
分布式文件存儲(chǔ)包括開(kāi)源社區(qū)的Glusterfs，Cephfs，Lustre，Moosefs，Lizardfs，商業(yè)產(chǎn)品中EMC的isilon，IBM的GPFS等。分布式文件存儲(chǔ)適合容器場(chǎng)景，但是性能問(wèn)題比較突出，主要集中在GlusterFS，CephFS，MooseFS/LizardFS。
這里簡(jiǎn)單對(duì)比下開(kāi)源項(xiàng)目的優(yōu)缺點(diǎn)，僅供參考。
Local-Disk方案有明顯的缺點(diǎn)，尤其是針對(duì)數(shù)據(jù)庫(kù)，大數(shù)據(jù)類的應(yīng)用。節(jié)點(diǎn)故障后，數(shù)據(jù)的恢復(fù)時(shí)間長(zhǎng)，對(duì)業(yè)務(wù)影響范圍廣。
傳統(tǒng)NAS也是一種文件存儲(chǔ)，但是協(xié)議網(wǎng)關(guān)（機(jī)頭）是性能瓶頸，傳統(tǒng)NAS已經(jīng)跟不上時(shí)代發(fā)展的潮流。
存儲(chǔ)的核心需求是穩(wěn)定，可靠，可用。無(wú)論是開(kāi)源的存儲(chǔ)項(xiàng)目還是商業(yè)的存儲(chǔ)產(chǎn)品，評(píng)估方法具有普適性，本文會(huì)介紹常見(jiàn)的評(píng)估項(xiàng)和評(píng)估方法。
數(shù)據(jù)可靠性
數(shù)據(jù)可靠性是指數(shù)據(jù)不丟失的概率。通常情況下，存儲(chǔ)產(chǎn)品會(huì)給出幾個(gè)9的數(shù)據(jù)可靠性，或者給出最多允許故障盤(pán)/節(jié)點(diǎn)個(gè)數(shù)。評(píng)估方式就是暴力拔盤(pán)，比如說(shuō)存儲(chǔ)提供3副本策略，拔任意2塊盤(pán)，只要數(shù)據(jù)不損壞，說(shuō)明可靠性沒(méi)問(wèn)題。存儲(chǔ)采用不同的數(shù)據(jù)冗余策略，提供的可靠性是不一樣的。
數(shù)據(jù)可用性
數(shù)據(jù)可用性和數(shù)據(jù)可靠性很容易被混淆，可用性指的是數(shù)據(jù)是否在線。比如存儲(chǔ)集群斷電，這段時(shí)間數(shù)據(jù)是不在線，但是數(shù)據(jù)沒(méi)有丟失，集群恢復(fù)正常后，數(shù)據(jù)可以正常訪問(wèn)。評(píng)估可用性的主要方式是拔服務(wù)器電源，再有查看存儲(chǔ)的部署組件是否有單點(diǎn)故障的可能。
數(shù)據(jù)一致性
數(shù)據(jù)一致性是最難評(píng)估的一項(xiàng)，因?yàn)榇蟛糠謭?chǎng)景用戶不知道程序?qū)懥四男?shù)據(jù)，寫(xiě)到了哪里。該如何評(píng)估數(shù)據(jù)一致性呢？普通的測(cè)試工具可以采用fio開(kāi)啟crc校驗(yàn)選項(xiàng)，最好的測(cè)試工具就是數(shù)據(jù)庫(kù)。如果發(fā)生了數(shù)據(jù)不一致的情況，數(shù)據(jù)庫(kù)要么起不來(lái)，要么表數(shù)據(jù)不對(duì)。具體的測(cè)試用例還要細(xì)細(xì)斟酌。
存儲(chǔ)性能
存儲(chǔ)的性能測(cè)試很有講究，塊存儲(chǔ)和文件存儲(chǔ)的側(cè)重點(diǎn)也不一樣。
塊存儲(chǔ)
fio/iozone是兩個(gè)典型的測(cè)試工具，重點(diǎn)測(cè)試IOPS，延遲和帶寬。以fio為例，測(cè)試命令如下：
重慶分公司
重慶分公司
fio?-filename=/dev/sdc?-iodepth=${iodepth}?-direct=1?-bs=${bs}?-size=100%?--rw=${iotype}?-thread?-time_based?-runtime=600?-ioengine=${ioengine}?-group_reporting?-name=fioTest關(guān)注幾個(gè)主要參數(shù)：iodepth，bs，rw和ioengine。
測(cè)試IOPS，iodepth=32/64/128，bs=4k/8k，rw=randread/randwrite，ioengine=libaio
測(cè)試延遲，iodepth=1，bs=4k/8k，rw=randread/randwrite，ioengine=sync
測(cè)試帶寬，iodepth=32/64/128，bs=512k/1m，rw=read/write，ioengine=libaio
文件存儲(chǔ)
fio/vdbench/mdtest是測(cè)試文件系統(tǒng)常用的工具，fio/vdbench用來(lái)評(píng)估IOPS，延遲和帶寬，mdtest評(píng)估文件系統(tǒng)元數(shù)據(jù)性能。以fio和mdtest為例，測(cè)試命令如下：
fio?-filename=/mnt/yrfs/fio.test?-iodepth=1?-direct=1?-bs=${bs}?-size=500G?--rw=${iotype}?-numjobs=${numjobs}?-time_based?-runtime=600?-ioengine=sync?-group_reporting?-name=fioTest與塊存儲(chǔ)的測(cè)試參數(shù)有一個(gè)很大區(qū)別，就是ioengine都是用的sync，用numjobs替換iodepth。
測(cè)試IOPS，bs=4k/8k，rw=randread/randwrite，numjobs=32/64
測(cè)試延遲，bs=4k/8k，rw=randread/randwrite，numjobs=1
測(cè)試帶寬，bs=512k/1m，rw=read/write，numjobs=32/64
mdtest是專門(mén)針對(duì)文件系統(tǒng)元數(shù)據(jù)性能的測(cè)試工具，主要測(cè)試指標(biāo)是creation和stat，需要采用mpirun并發(fā)測(cè)試：
mpirun?--allow-run-as-root?-mca?btl_openib_allow_ib?1?-host?yanrong-node0:${slots},yanrong-node1:${slots},yanrong-node2:${slots}?-np?${num_procs}?mdtest?-C?-T?-d?/mnt/yrfs/mdtest?-i?1?-I?${files_per_dir}?-z?2?-b?8?-L?-F?-r?-u存儲(chǔ)性能測(cè)試不僅僅測(cè)試集群正常場(chǎng)景下的指標(biāo)，還要包含其他場(chǎng)景：
存儲(chǔ)容量在70%以上或者文件數(shù)量上億的性能指標(biāo)
節(jié)點(diǎn)/磁盤(pán)故障后的性能指標(biāo)
擴(kuò)容過(guò)程時(shí)的性能指標(biāo)
容器存儲(chǔ)功能
除了存儲(chǔ)的核心功能（高可靠/高可用/高性能），對(duì)于容器存儲(chǔ)，還需要幾個(gè)額外的功能保證生產(chǎn)環(huán)境的穩(wěn)定可用。
Flexvolume/CSI接口的支持，動(dòng)態(tài)/靜態(tài)PV的支持
存儲(chǔ)配額。對(duì)于Kubernetes的管理員來(lái)說(shuō)，存儲(chǔ)的配額是必須的，否則存儲(chǔ)的使用空間會(huì)處于不可控狀態(tài)
服務(wù)質(zhì)量（QoS）。如果沒(méi)有QoS，存儲(chǔ)管理員只能期望存儲(chǔ)提供其他監(jiān)控指標(biāo)，以保證在集群超負(fù)荷時(shí)，找出罪魁禍?zhǔn)?/p>
Kubernetes持久化存儲(chǔ)方案的重點(diǎn)在存儲(chǔ)和容器支持上。因此首要考慮存儲(chǔ)的核心功能和容器的場(chǎng)景支持。綜合本文所述，將選擇項(xiàng)按優(yōu)先級(jí)列舉：
存儲(chǔ)的三大核心，高可靠，高可用和高性能
業(yè)務(wù)場(chǎng)景，選擇分布式文件存儲(chǔ)
擴(kuò)展性，存儲(chǔ)能橫向擴(kuò)展，應(yīng)對(duì)業(yè)務(wù)增長(zhǎng)需求
可運(yùn)維性，存儲(chǔ)的運(yùn)維難度不亞于存儲(chǔ)的開(kāi)發(fā)，選擇運(yùn)維便捷存儲(chǔ)產(chǎn)品
成本
Q：你好，我們公司采用GlusterFS存儲(chǔ)，掛載三塊盤(pán)，現(xiàn)在遇到高并發(fā)寫(xiě)小文件（4KB）吞吐量上不去（5MB/S），請(qǐng)問(wèn)有什么比較好的監(jiān)控工具或方法么？謝謝！
A：GlusterFS本身對(duì)小文件就很不友好，GlusterFS是針對(duì)備份場(chǎng)景設(shè)計(jì)的，不建議用在小文件場(chǎng)景，如果可以的話，要么程序做優(yōu)化進(jìn)行小文件合并，要么選用高性能的分布式文件存儲(chǔ)，建議看看Lustre或者YRCloudFile。
Q：我們用的是Ceph分布式存儲(chǔ)，目前有一個(gè)場(chǎng)景是客戶視頻存儲(chǔ)，而對(duì)于持續(xù)的寫(xiě)入小文件存在丟幀的現(xiàn)象，經(jīng)過(guò)我們系統(tǒng)級(jí)別和底層文件系統(tǒng)調(diào)優(yōu)，加上Ceph參數(shù)的設(shè)置，勉強(qiáng)性能得改善，但是數(shù)據(jù)量上來(lái)性能會(huì)如何也不得而知道了（經(jīng)過(guò)客戶裸盤(pán)測(cè)試，前面用軟RAID方式性能還是可以）請(qǐng)問(wèn)在這方面你有什么建議么？謝謝！我們客戶是在特殊的場(chǎng)景下，屬于特定機(jī)型，而且是5400的sata盤(pán)！rbd塊存儲(chǔ)！還有一個(gè)現(xiàn)象就是磁盤(pán)利用率不均，這也是影響性能的一個(gè)人原因，即便我們?cè)谡{(diào)pg數(shù)，也會(huì)有這個(gè)問(wèn)題。在額外請(qǐng)教一個(gè)問(wèn)題，bcache可以用內(nèi)存做緩存么？FlushCache相比，這兩個(gè)哪個(gè)會(huì)更好一點(diǎn)？
A：您用的是CephFS還是rbdc因?yàn)镃eph在性能上缺失做的還不夠，有很多隊(duì)列，導(dǎo)致延遲很不穩(wěn)定，這個(gè)時(shí)候，只能忍了，不過(guò)還是建議用Bcache做一層緩存，可以有效緩解性能問(wèn)題。Crush算法雖然比一致性hash要好很多，但是因?yàn)闆](méi)有元數(shù)據(jù)，還是很難控制磁盤(pán)熱點(diǎn)問(wèn)題。FlushCache已經(jīng)沒(méi)有人維護(hù)了，Bcache還有團(tuán)隊(duì)在維護(hù)，所以如果自己沒(méi)有能力，就選用Bcache。
Q：我看您推薦分布式文件存儲(chǔ)，文件系統(tǒng)能滿足數(shù)據(jù)庫(kù)應(yīng)用的需求嗎？塊存儲(chǔ)會(huì)不會(huì)好一些？
A：首先，我推薦的是高性能分布式文件系統(tǒng)。數(shù)據(jù)庫(kù)一般對(duì)延遲都比較敏感，普通的萬(wàn)兆網(wǎng)絡(luò)+HDD肯定不行，需要采用SSD，一般能將延遲穩(wěn)定在毫秒以內(nèi)，通常能夠滿足要求。如果對(duì)延遲有特別要求，可以采用NVMe + RoCE的方案，即使在大壓力下，延遲也能穩(wěn)定在300微秒以內(nèi)。
Q：請(qǐng)問(wèn)為什么說(shuō)塊存儲(chǔ)不支持RWX？RWX就是指多個(gè)節(jié)點(diǎn)同時(shí)掛載同一塊塊設(shè)備并同時(shí)讀寫(xiě)嗎？很多FC存儲(chǔ)都可以做到。
A：傳統(tǒng)的SAN要支持RWX，需要ALUA機(jī)制，而且這是塊級(jí)別的多讀寫(xiě)，如果要再加上文件系統(tǒng)，是沒(méi)辦法做到的，這需要分布式文件系統(tǒng)來(lái)做文件元數(shù)據(jù)信息同步。
Q：傳統(tǒng)SAN支持對(duì)同一數(shù)據(jù)塊的并行讀寫(xiě)，很多AA陣列都不是用ALUA的，而是多條路徑同時(shí)有IO，當(dāng)然要用到多路徑軟件。相反用ALUA的不是AA陣列。
A：AA陣列解決的是高可用問(wèn)題，對(duì)同一個(gè)lun的并發(fā)讀寫(xiě)，需要trunk級(jí)的鎖去保證數(shù)據(jù)一致性，性能不好。
Q：很多傳統(tǒng)商業(yè)存儲(chǔ)，包括塊存儲(chǔ)，也都做了CSI相關(guān)的插件，是不是如果在容器里跑一些性能要求高的業(yè)務(wù)，這些商業(yè)的塊存儲(chǔ)比文件存儲(chǔ)合適？
A：生產(chǎn)環(huán)境中，我強(qiáng)烈建議選用商業(yè)存儲(chǔ)。至于塊存儲(chǔ)還是文件存儲(chǔ)，要看您的業(yè)務(wù)場(chǎng)景。選是商業(yè)的文件存儲(chǔ)。
Q：請(qǐng)問(wèn)現(xiàn)在的Kubernetes環(huán)境下，海量小文件RWX場(chǎng)景，有什么相對(duì)比較好的開(kāi)源分布式存儲(chǔ)解決方案么？
A：開(kāi)源的分布式文件存儲(chǔ)項(xiàng)目中，沒(méi)有能解決海量小文件的，我在文中已經(jīng)將主流開(kāi)源文件系統(tǒng)都分析了一遍，在設(shè)計(jì)之初，都是針對(duì)備份場(chǎng)景或者HPC領(lǐng)域。
Q：請(qǐng)問(wèn)，為什么說(shuō)Ceph性能不好，有依據(jù)嗎？
A：直接用數(shù)據(jù)說(shuō)話，我們用NVMe + Ceph + Bluestore測(cè)試出來(lái)的，延遲在毫秒級(jí)以上，而且很不穩(wěn)定，我們用YRCloudFile + NVMe + RoCE，延遲能50微秒左右，差了幾十倍。
Q：Lustre沒(méi)接觸過(guò)，性能好嗎，和Ceph有對(duì)比過(guò)嗎？
A：網(wǎng)上有很多Lustre的性能指標(biāo)，在同樣的配置下，性能絕對(duì)要比Ceph好，不過(guò)Lustre全部都是內(nèi)核態(tài)的，容器場(chǎng)景沒(méi)辦法用，而且按照部署以及運(yùn)維難度非常大。Lustre在超算用的比較廣泛。
Q：Lustre只能靠本地磁盤(pán)陣列來(lái)保證數(shù)據(jù)冗余么？
A：Lustre本身不提供冗余機(jī)制，都是靠本地陣列的，不過(guò)EC好像已經(jīng)在開(kāi)發(fā)計(jì)劃中了。
Q：（對(duì)于小公司）如果不選用商業(yè)存儲(chǔ)，那么推薦哪款開(kāi)源實(shí)現(xiàn)作為生產(chǎn)存儲(chǔ)（可靠，高性能）。我們之前試了NFS發(fā)現(xiàn)速度不穩(wěn)定？
A：國(guó)內(nèi)還是有很多創(chuàng)業(yè)公司，也不貴的。存儲(chǔ)不像其他項(xiàng)目，存儲(chǔ)經(jīng)不起折騰，一定要用穩(wěn)定可靠的，Ceph/GlusterFS做了這么久，大家在采購(gòu)的時(shí)候，還是會(huì)依托于某家商業(yè)公司來(lái)做，自己生產(chǎn)環(huán)境用開(kāi)源項(xiàng)目，風(fēng)險(xiǎn)太大了。
以上內(nèi)容根據(jù)2019年1月10日晚微信群分享內(nèi)容整理。分享人張文濤，北京焱融科技存儲(chǔ)架構(gòu)師，負(fù)責(zé)容器存儲(chǔ)產(chǎn)品的架構(gòu)設(shè)計(jì)和研發(fā)。
關(guān)于焱融云
焱融云是一家以軟件定義存儲(chǔ)技術(shù)為核心競(jìng)爭(zhēng)力的高新技術(shù)企業(yè)，在分布式存儲(chǔ)等關(guān)鍵技術(shù)上擁有自主知識(shí)產(chǎn)權(quán)，是高性能分布式存儲(chǔ)解決方案的行業(yè)領(lǐng)導(dǎo)者。針對(duì)各行業(yè)業(yè)務(wù)特性，打造個(gè)性化行業(yè)解決方案，提供一站式的產(chǎn)品與服務(wù)。焱融云系列產(chǎn)品已服務(wù)于金融、政府、制造業(yè)、互聯(lián)網(wǎng)等行業(yè)的眾多客戶。了解更多焱融科技信息，請(qǐng)?jiān)L問(wèn)官網(wǎng)http://www.yanrongyun.com。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
