真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

云計算的發(fā)展史是怎樣的

本篇內(nèi)容主要講解“云計算的發(fā)展史是怎樣的”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學(xué)習(xí)“云計算的發(fā)展史是怎樣的”吧!

作為一家“創(chuàng)意+整合+營銷”的成都網(wǎng)站建設(shè)機構(gòu),我們在業(yè)內(nèi)良好的客戶口碑。成都創(chuàng)新互聯(lián)提供從前期的網(wǎng)站品牌分析策劃、網(wǎng)站設(shè)計、成都做網(wǎng)站、網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)、創(chuàng)意表現(xiàn)、網(wǎng)頁制作、系統(tǒng)開發(fā)以及后續(xù)網(wǎng)站營銷運營等一系列服務(wù),幫助企業(yè)打造創(chuàng)新的互聯(lián)網(wǎng)品牌經(jīng)營模式與有效的網(wǎng)絡(luò)營銷方法,創(chuàng)造更大的價值。

什么是云計算

早在十年前,市場上就出現(xiàn)了很多和云計算相關(guān)的崗位,當(dāng)時正是云計算技術(shù)最火熱的時代,不管是BAT還是華為等企業(yè)都開始布局云計算,于是OpenStack研發(fā)、容器研發(fā)、底層開發(fā)等相關(guān)崗位相應(yīng)地也越來越多,雖然這幾年大數(shù)據(jù)和AI的風(fēng)頭已經(jīng)完全壓過了云計算,但是這一門技術(shù)仍然在現(xiàn)如今的技術(shù)體系中占有很重要的位置。那么,到底什么是云計算,就是我們每一個要學(xué)習(xí)云計算技術(shù)的朋友要了解的事情了,根據(jù)百度百科的介紹

大數(shù)據(jù)(big data),IT行業(yè)術(shù)語,是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 [1]  中大數(shù)據(jù)指不用隨機分析法(抽樣調(diào)查)這樣捷徑,而采用所有數(shù)據(jù)進行分析處理。大數(shù)據(jù)的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。 [2]

云計算的發(fā)展史

物理機時代

云計算的整個過程,用一個詞來講就是“分久必合,合久必分”。

云計算其實主要解決了四個方面的內(nèi)容:計算,網(wǎng)絡(luò),存儲,應(yīng)用。前三者是資源層面的,最后是應(yīng)用層面的。

計算是CPU和內(nèi)存,為啥?1+1這個最簡單的算法是把1放在內(nèi)存里面,運行加法是CPU做的,做完了結(jié)果2又保存在內(nèi)存里面。
網(wǎng)絡(luò)就是你插根網(wǎng)線能上網(wǎng)。
存儲就是你下個電影有地方放。本次討論就是圍繞這四個部分來講的。
在原始社會,大家最愛用的是物理設(shè)備:

服務(wù)器用的是物理機,例如戴爾,惠普,IBM,聯(lián)想等物理服務(wù)器,隨著硬件設(shè)備的進步,物理服務(wù)器越來越強大了,64核128G內(nèi)存都算是普通配置。
網(wǎng)絡(luò)用的是硬件交換機和路由器,例如思科的,華為的,從1GE到10GE,現(xiàn)在有40GE和100GE,帶寬越來越牛。
存儲方面有的用普通的磁盤,也有了更快的SSD盤。容量從M,到G,連筆記本電腦都能配置到T,更何況磁盤陣列。
如果部署應(yīng)用直接使用物理機,看起來很爽,總有種土豪的感覺,卻又大大的缺點:

人工運維:如果你在一臺服務(wù)器上安裝軟件,把系統(tǒng)安裝壞了,怎么辦?只有重裝。當(dāng)你想配置一下交換機的參數(shù),需要串口連上去進行配置。當(dāng)你想增加一塊磁盤,總要買一塊插進服務(wù)器。這些都需要人工來,而且很大可能要求機房。你們公司在北五環(huán),機房在南六環(huán),這酸爽。
浪費資源:其實你只想部署一個小小的網(wǎng)站,卻要用128G的內(nèi)存。混著部署吧,就有隔離性的問題。
隔離性差:你把好多的應(yīng)用部署在同一臺物理機上,他們之間搶內(nèi)存,搶cpu,一個寫滿了硬盤,另一個就沒法用了,一個弄掛了內(nèi)核,另一個也同時掛了,如果部署兩個相同的應(yīng)用,端口還會沖突,動不動就會出錯。
于是有了第一次合久必分的過程,叫做虛擬化。所謂虛擬化,就是把實的變成虛的。

虛擬機的誕生

物理機變?yōu)樘摂M機:cpu是虛擬的,內(nèi)存是虛擬的,內(nèi)核是虛擬的,硬盤是虛擬的。
物理交換機變?yōu)樘摂M交換機:網(wǎng)卡是虛擬的,交換機是虛擬的,帶寬也是虛擬的。
物理存儲變成虛擬存儲:多塊硬盤虛擬成一大塊。
虛擬化很好的解決了上面的三個問題:

人工運維:虛擬機的創(chuàng)建和刪除都可以遠程操作,虛擬機被玩壞了,刪了再建一個分鐘級別的。虛擬網(wǎng)絡(luò)的配置也可以遠程操作,創(chuàng)建網(wǎng)卡,分配帶寬都是調(diào)用接口就能搞定的。
浪費資源:虛擬化了以后,資源可以分配的很小很小,比如1個cpu,1G內(nèi)存,1M帶寬,1G硬盤,都可以被虛擬出來。
隔離性差:每個虛擬機有獨立的cpu, 內(nèi)存,硬盤,網(wǎng)卡,不同虛擬機的應(yīng)用互不干擾。
但是虛擬化還有以下的缺點,通過虛擬化軟件創(chuàng)建虛擬機,需要人工指定放在哪臺機器上,硬盤放在哪個存儲設(shè)備上,網(wǎng)絡(luò)的VLAN ID,帶寬具體的配置,都需要人工指定。所以單單使用虛擬化的運維工程師往往有一個Excel表格,有多少臺機器,每臺機器部署了哪些虛擬機。所以,一般虛擬化的集群數(shù)目都不是特別的大。

在虛擬化階段,領(lǐng)跑者是Vmware,可以實現(xiàn)基本的計算,網(wǎng)絡(luò),存儲的虛擬化。

當(dāng)然這個世界有閉源,就有開源,有windows就有l(wèi)inux,有apple就有andord,有Vmware,就有Xen和KVM。在開源虛擬化方面,Xen方面Citrix做的不錯,后來Redhat在KVM發(fā)力不少。

對于網(wǎng)絡(luò)虛擬化,有Openvswitch,可以通過命令創(chuàng)建網(wǎng)橋,網(wǎng)卡,設(shè)置VLAN,設(shè)置帶寬。

對于存儲虛擬化,對于本地盤,有LVM,可以將多個硬盤變成一大塊盤,然后在里面切出一小塊給用戶。

為了解決虛擬化階段剩余的問題,于是有了分久必合的過程。這個過程我們可以形象的稱為池化,也就是說虛擬化已經(jīng)將資源分的很細了,但是對于如此細粒度的資源靠Excel去管理,成本太高,能不能打成一個大的池,當(dāng)需要資源的時候,幫助用戶自動的選擇,而非用戶指定。所以這個階段的關(guān)鍵點:調(diào)度器Scheduler。

公有云和私有云

于是vmware有了自己的vcloud。

于是基于Xen和KVM的私有云平臺CloudStack,后來Citrix將其收購后開源。

當(dāng)這些私有云平臺在用戶的數(shù)據(jù)中心里面賣的其貴無比,賺的盆滿缽滿的時候。有其他的公司開始了另外的選擇,這就是AWS和Google,開始了公有云領(lǐng)域的探索。

AWS最初就是基于Xen技術(shù)進行虛擬化的,并且最終形成了公有云平臺。也許AWS最初只是不想讓自己的電商領(lǐng)域的利潤全部交給私有云廠商吧,于是自己的云平臺首先支撐起了自己的業(yè)務(wù),在這個過程中,AWS自己嚴(yán)肅的使用了自己的云計算平臺,使得公有云平臺不是對于資源的配置更加友好,而是對于應(yīng)用的部署更加友好,最終大放異彩。

如果我們仔細觀察就會發(fā)現(xiàn),私有云和公有云使用的是類似的技術(shù),卻在產(chǎn)品設(shè)計上是完全不同的兩種生物。私有云廠商和公有云廠商也擁有類似的技術(shù),卻在產(chǎn)品運營上呈現(xiàn)出完全不同的基因。

私有云廠商都是賣資源的,所以往往在賣私有云平臺的時候往往伴隨著賣計算,網(wǎng)絡(luò),存儲設(shè)備。在產(chǎn)品設(shè)計上,私有云廠商往往強調(diào)又長又詳盡,但是客戶幾乎不會使用的計算,網(wǎng)絡(luò),存儲的技術(shù)參數(shù),因為這些參數(shù)可以用來和友商對標(biāo)的過程中占盡優(yōu)勢。私有云的廠商幾乎沒有自己的大規(guī)模應(yīng)用,所以私有云廠商的平臺做出來是給別人用的,自己不會大規(guī)模使用,于是產(chǎn)品往往圍繞資源展開,而不會對應(yīng)用的部署友好。

公有云的廠商往往都是有自己的大規(guī)模應(yīng)用需要部署的,所以其產(chǎn)品的設(shè)計,可以將常見的應(yīng)用部署所需要的模塊作為組件提供出來,用戶可以像拼積木一樣,拼接一個適用于自己應(yīng)用的架構(gòu)。公有云廠商不必要關(guān)心各種技術(shù)參數(shù)的PK,不必關(guān)心是否開源,是否兼容各種虛擬化平臺,兼容各種服務(wù)器設(shè)備,網(wǎng)絡(luò)設(shè)備,存儲設(shè)備。你管我用什么,客戶部署應(yīng)用方便就好。

OpenStack的誕生

當(dāng)然公有云的第一名AWS活的很爽,第二名Rackspace就不太爽了,沒錯,互聯(lián)網(wǎng)行業(yè)嘛,基本上就是一家獨大。第二名如何逆襲呢?開源是很好的辦法,讓整個行業(yè)大家一起為這個云平臺出力,兄弟們,大家一起上。于是Rackspace與美國航空航天局(NASA)合作創(chuàng)始了開源云平臺OpenStack。OpenStack現(xiàn)在發(fā)展的和AWS有點像了,所以從OpenStack的模塊組成,可以看到云計算池化的方法。

OpenStack包含哪些組件呢?

計算池化模塊Nova:OpenStack的計算虛擬化主要使用KVM,然而到底在那個物理機上開虛擬機呢,這要靠nova-scheduler。

網(wǎng)絡(luò)池化模塊Neutron:OpenStack的網(wǎng)絡(luò)虛擬化主要使用Openvswitch,然而對于每一個Openvswitch的虛擬網(wǎng)絡(luò),虛擬網(wǎng)卡,VLAN,帶寬的配置,不需要登錄到集群上配置,Neutron可以通過SDN的方式進行配置。

存儲池化模塊Cinder:OpenStack的存儲虛擬化,如果使用本地盤,則基于LVM,使用哪個LVM上分配的盤,也是用過scheduler來的。后來就有了將多臺機器的硬盤打成一個池的方式Ceph,則調(diào)度的過程,則在Ceph層完成。

有了OpenStack,所有的私有云廠商都瘋了,原來VMware在私有云市場實在賺的太多了,眼巴巴的看著,沒有對應(yīng)的平臺可以和他抗衡?,F(xiàn)在有了現(xiàn)成的框架,再加上自己的硬件設(shè)備,你可以想象到的所有的IT廠商的巨頭,全部加入到社區(qū)里面來,將OpenStack開發(fā)為自己的產(chǎn)品,連同硬件設(shè)備一起,殺入私有云市場。

網(wǎng)易當(dāng)然也沒有錯過這次風(fēng)口,上線了自己的OpenStack集群,網(wǎng)易蜂巢基于OpenStack自主研發(fā)了IaaS服務(wù),在計算虛擬化方面,通過裁剪KVM鏡像,優(yōu)化虛擬機啟動流程等改進,實現(xiàn)了虛擬機的秒級別啟動。在網(wǎng)絡(luò)虛擬化方面,通過SDN和Openvswitch技術(shù),實現(xiàn)了虛擬機之間的高性能互訪。在存儲虛擬化方面,通過優(yōu)化Ceph存儲,實現(xiàn)高性能云盤。

但是網(wǎng)易并沒有殺進私有云市場,而是使用OpenStack支撐起了自己的應(yīng)用,這是互聯(lián)網(wǎng)的思維,沒錯。僅僅是資源層面彈性是不夠的,還需要開發(fā)出對應(yīng)用部署友好的組件。例如數(shù)據(jù)庫,負載均衡,緩存等,這些都是應(yīng)用部署必不可少的,也是網(wǎng)易在大規(guī)模應(yīng)用實踐中,千錘百煉過的。這些組件稱為PaaS。

從IAAS到PAAS

前面一直在講IaaS層的故事,也即基礎(chǔ)設(shè)施即服務(wù),基本上在談計算,網(wǎng)絡(luò),存儲的事情。現(xiàn)在應(yīng)該說說應(yīng)用層的事情了。

IaaS的定義比較清楚,PaaS的定義就沒那么清楚了,有的把數(shù)據(jù)庫,負載均衡,緩存作為PaaS服務(wù),有的把大數(shù)據(jù)Hadoop, Spark平臺作為PaaS服務(wù),有的講應(yīng)用的安裝與管理,例如Puppet, Chef, Ansible作為PaaS服務(wù)。

其實PaaS主要用于管理應(yīng)用層的,我總結(jié)兩部分:一部分是你自己的應(yīng)用應(yīng)當(dāng)自動部署,比如Puppet, Chef, Ansible, Cloud Foundry等,可以通過腳本幫你部署,一部分是你覺得復(fù)雜的通用應(yīng)用不用部署,比如數(shù)據(jù)庫,緩存,大數(shù)據(jù)平臺,可以在云平臺上一點即得。

要么就是自動部署,要么不用部署,總的來說就是應(yīng)用層您也少操心,就是PaaS的作用。當(dāng)然最好是都不用部署,一鍵可得,所以公有云平臺將通用的服務(wù)都做成了PaaS平臺。另一些應(yīng)用,是您自己開發(fā)的,除了你自己,其他人都不知道,所以您可以用工具變成自動部署。

有了PaaS最大的優(yōu)點,就是可以實現(xiàn)應(yīng)用層的彈性伸縮。比如雙十一來了,10個節(jié)點要變成100個節(jié)點,如果使用物理設(shè)備,再買90臺機器固然來不及,僅僅只有IaaS實現(xiàn)資源的彈性是不夠的,再創(chuàng)建90臺虛擬機,也是空的啊,還是需要運維人員一臺一臺的部署。所以有了PaaS就好了,一臺虛擬機啟動后,馬上運行自動部署腳本,進行應(yīng)用的安裝,90臺機器自動安裝好了應(yīng)用,才是真正的彈性伸縮。

當(dāng)然這種部署方式也有一個問題,就是無論Puppet, Chef, Ansible把安裝腳本抽象的再好,說到底也是基于腳本的,然而應(yīng)用所在的環(huán)境千差萬別,文件路徑的差別,文件權(quán)限的差別,依賴包的差別,應(yīng)用環(huán)境的差別,Tomcat, PHP, Apache等軟件版本的差別,JDK,Python等版本的差別,是否安裝了一些系統(tǒng)軟件,是否占用了哪些端口,都可能造成腳本執(zhí)行的不成功。所以看起來是一旦腳本寫好,就能夠快速復(fù)制了,但是一旦環(huán)境稍有改變,就需要把腳本進行新一輪的修改,測試,聯(lián)調(diào)。例如在數(shù)據(jù)中心寫好的腳本,移到AWS上就不一定直接能用,在AWS上聯(lián)調(diào)好了,遷移到Google Cloud上去也可能再會出問題。

容器的誕生

于是容器應(yīng)運而生。容器是Container,Container另一個意思是集裝箱,其實容器的思想就是要變成軟件交付的集裝箱。集裝箱的特點,一是打包,二是標(biāo)準(zhǔn)。設(shè)想沒有集裝箱的時代,如果從A將貨物運到B,中間要經(jīng)過三個碼頭,換三次船的話,每次貨物都要卸下船來,擺的七零八落,然后再換船的時候,需要重新整齊擺好,所以沒有集裝箱的時候,船員們都能夠在岸上待幾天再走。然而有了集裝箱,所有的貨物都打包在一起了,并且集裝箱的尺寸全部一致,所以每次換船的時候,整體一個箱子搬過去就可以了,小時級別就能完成,船員再也不能上岸長時間休息了。所以設(shè)想A就是程序員,B就是用戶,貨物就是代碼及運行環(huán)境,中間的三個碼頭分別是開發(fā),測試,上線。

假設(shè)代碼的運行環(huán)境如下:

  1. Ubuntu操作系統(tǒng)

  2. 創(chuàng)建用戶hadoop

  3. 下載解壓縮JDK 1.7在某個目錄下

  4. 將這個目錄加入JAVA_HOME和PATH的環(huán)境變量里面

  5. 將環(huán)境變量的export放在hadoop用戶的home目錄下的.bashrc文件中

  6. 下載并解壓縮tomcat 7

  7. 將war放到tomcat的webapp路徑下面

  8. 修改tomcat的啟動參數(shù),將Java的Heap Size設(shè)為1024M

看,一個簡單的Java網(wǎng)站,就需要考慮這么多零零散散的東西,如果不打包,就需要在開發(fā),測試,生產(chǎn)的每個環(huán)境上查看保證環(huán)境的一致,甚至要將這些環(huán)境重新搭建一遍,就像每次將貨物打散了重裝一樣麻煩,中間稍有差池,比如開發(fā)環(huán)境用了JDK 1.8,而線上是JDK 1.7,比如開發(fā)環(huán)境用了root用戶,線上需要使用hadoop用戶,都可能導(dǎo)致程序的運行失敗。

容器如何對應(yīng)用打包呢?還是要學(xué)習(xí)集裝箱,首先要有個封閉的環(huán)境,將貨物封裝起來,讓貨物之間互不干擾,互相隔離,這樣裝貨卸貨才方便。好在ubuntu中的lxc技術(shù)早就能做到這一點,這里主要使用了兩種技術(shù),一種是看起來是隔離的技術(shù),稱為namespace,也即每個namespace中的應(yīng)用看到的是不同的IP地址,用戶空間,進程號等。另一種是用起來是隔離的,稱為cgroup,也即明明整臺機器有很多的CPU,內(nèi)存,而一個應(yīng)用只能用其中的一部分。

有了這兩項技術(shù),集裝箱的鐵盒子我們是焊好了,接下來是決定往里面放什么的時候了。最簡單粗暴的方法,就是將上面列表中所有的都放到集裝箱里面。但是這樣太大了,因為虛擬機的鏡像就是這樣的,動輒幾十G,如果你安裝一個干干靜靜的ubuntu操作系統(tǒng),什么都不裝,就很大了。這其實相當(dāng)于把船也放到了集裝箱里面,答案當(dāng)然是NO.

所以撇下第一項操作系統(tǒng),剩下的所有的加起來,也就幾百M,就輕便多了。所以一臺服務(wù)器上的容器是共享操作系統(tǒng)內(nèi)核的,容器在不同機器之間的遷移不帶內(nèi)核,這也是很多人聲稱容器是輕量級的虛擬機的原因。輕不白輕,自然隔離性就差了,一個集裝箱把船壓漏水了,所有的集裝箱一起沉。

另一個需要撇下的就是隨著應(yīng)用的運行而產(chǎn)生并保存在本地的數(shù)據(jù),多以文件的形式存在,例如數(shù)據(jù)庫文件,文本文件。這些文件會隨著應(yīng)用的運行,越來越大,如果這些數(shù)據(jù)也放在容器里面,會讓容器變得很大,影響容器在不同環(huán)境的遷移。而且這些數(shù)據(jù)在開發(fā),測試,線上環(huán)境之間的遷移是沒有意義的,生產(chǎn)環(huán)境不可能用測試環(huán)境的文件,所以往往這些數(shù)據(jù)也是保存在容器外面的存儲設(shè)備上。也是為什么人們稱容器是無狀態(tài)的。

至此集裝箱焊好了,貨物也裝進去了,接下來就是如何將這個集裝箱標(biāo)準(zhǔn)化,從而在哪艘船上都能運輸。這里的標(biāo)準(zhǔn)一個是鏡像,一個是容器的運行環(huán)境。所謂的鏡像,就是將你焊好集裝箱的那個時刻,將集裝箱的狀態(tài)保存下來,就像孫悟空說定,集裝箱里面就定在了那一刻,然后將這一刻的狀態(tài)保存成一系列文件。這些文件的格式是標(biāo)準(zhǔn)的,誰看到這些文件,都能還原當(dāng)時定住的那個時刻。將鏡像還原成運行時的過程,就是讀取鏡像文件,還原那個時刻的過程,也就是容器的運行的過程。除了大名鼎鼎的Docker,還有其他的容器,例如AppC,Mesos Container,都能運行容器鏡像。所以說容器不等于Docker。

總而言之,容器是輕量級的,隔離差的,適用于無狀態(tài)的,基于鏡像標(biāo)準(zhǔn)實現(xiàn)跨主機,跨環(huán)境的隨意遷移。

有了容器,使得PaaS層對于用戶自身應(yīng)用的自動部署變得快速而優(yōu)雅。容器快,快在了兩方面,第一是虛擬機啟動的時候要先啟動操作系統(tǒng),容器不用啟動操作系統(tǒng),因為是共享內(nèi)核的。第二是虛擬機啟動后使用腳本安裝應(yīng)用,容器不用安裝應(yīng)用,因為已經(jīng)打包在鏡像里面了。所以最終虛擬機的啟動是分鐘級別,而容器的啟動是秒級。容器咋這么神奇。其實一點都不神奇,第一是偷懶少干活了,第二是提前把活干好了。

因為容器的啟動快,人們往往不會創(chuàng)建一個個小的虛擬機來剛剛部署應(yīng)用,因為這樣太費時間了,而是創(chuàng)建一個大的虛擬機,然后在大的虛擬機里面再劃分容器,而不同的用戶不共享大的虛擬機,可以實現(xiàn)操作系統(tǒng)內(nèi)核的隔離。

這又是一次合久必分的過程。由IaaS層的虛擬機池,劃分為更細粒度的容器池。

容器的粒度更加細,管理起來更難管,甚至是手動操作難以應(yīng)對的。假設(shè)你有100臺物理機,其實規(guī)模不是太大,用Excel人工管理是沒問題的,但是一臺上面開10臺虛擬機,虛擬機的個數(shù)就是1000臺,人工管理已經(jīng)很困難了,但是一臺虛擬機里面開10個容器,就是10000個容器,你是不是已經(jīng)徹底放棄人工運維的想法了。

所以容器層面的管理平臺是一個新的挑戰(zhàn),關(guān)鍵字就是自動化:

自發(fā)現(xiàn):容器與容器之間的相互配置還能像虛擬機一樣,記住IP地址,然后互相配置嗎?這么多容器,你怎么記得住一旦一臺虛擬機掛了重啟,IP改變,應(yīng)該改哪些配置,列表長度至少萬行級別的啊。所以容器之間的配置通過名稱來的,無論容器跑到哪臺機器上,名稱不變,就能訪問到。
自修復(fù):容器掛了,或是進程宕機了,能像虛擬機那樣,登陸上去查看一下進程狀態(tài),如果不正常重啟一下么?你要登陸萬臺docker了。所以容器的進程掛了,容器就自動掛掉了,然后自動重啟。
彈性自伸縮 Auto Scaling:當(dāng)容器的性能不足的時候,需要手動伸縮,手動部署么?當(dāng)然也要自動來。
如果有了容器的管理平臺,又是一次分久必合。

容器管理平臺

當(dāng)前火熱的容器管理平臺有三大流派:

一個是Kubernetes,我們稱為段譽型。段譽(Kubernetes)的父親(Borg)武功高強,出身皇族(Google),管理過偌大的一個大理國(Borg是Google數(shù)據(jù)中心的容器管理平臺)。作為大理段式后裔,段譽的武功基因良好(Kubernetes的理念設(shè)計比較完善),周圍的高手云集,習(xí)武環(huán)境也好(Kubernetes生態(tài)活躍,熱度高),雖然剛剛出道的段譽武功不及其父親,但是只要跟著周圍的高手不斷切磋,武功既可以飛速提升。

一個是Mesos,我們稱為喬峰型。喬峰(Mesos)的主要功夫降龍十八掌(Mesos的調(diào)度功能)獨步武林,為其他幫派所無。而且喬峰也管理過人數(shù)眾多的丐幫(Mesos管理過Tweeter的容器集群)。后來喬峰從丐幫出來,在江湖中特例獨行(Mesos的創(chuàng)始人成立了公司Mesosphere)。喬峰的優(yōu)勢在于,喬峰的降龍十八掌(Mesos)就是在丐幫中使用的降龍十八掌,相比與段譽初學(xué)其父的武功來說,要成熟很多。但是缺點是,降龍十八掌只掌握在少數(shù)的幾個丐幫幫主手中(Mesos社區(qū)還是以Mesosphere為主導(dǎo)),其他丐幫兄弟只能遠遠崇拜喬峰,而無法相互切磋(社區(qū)熱度不足)。

一個是Swarm,我們稱為慕容型。慕容家族(Swarm是Docker家族的集群管理軟件)的個人功夫是非常棒的(Docker可以說稱為容器的事實標(biāo)準(zhǔn)),但是看到段譽和喬峰能夠管理的組織規(guī)模越來越大,有一統(tǒng)江湖的趨勢,著實眼紅了,于是開始想創(chuàng)建自己的慕容鮮卑帝國(推出Swarm容器集群管理軟件)。但是個人功夫好,并不代表著組織能力強(Swarm的集群管理能力),好在慕容家族可以借鑒段譽和喬峰的組織管理經(jīng)驗,學(xué)習(xí)各家公司,以彼之道,還施彼身,使得慕容公子的組織能力(Swarm借鑒了很多前面的集群管理思想)也在逐漸的成熟中。

云計算方面核心技術(shù)有哪些?

作者:冰島社區(qū)-陳昊
鏈接: https://www.zhihu.com/question/353443905/answer/877956605
來源:知乎
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán),非商業(yè)轉(zhuǎn)載請注明出處。

云計算是一種以數(shù)據(jù)和處理能力為中心的密集型計算模式,它融合了多項ICT技術(shù),是傳統(tǒng)技術(shù)“平滑演進”的產(chǎn)物。其中以虛擬化技術(shù)、分布式數(shù)據(jù)存儲技術(shù)、編程模型、大規(guī)模數(shù)據(jù)管理技術(shù)、分布式資源管理、信息安全、云計算平臺管理技術(shù)、綠色節(jié)能技術(shù)最為關(guān)鍵。

1、虛擬化技術(shù)

虛擬化是云計算最重要的核心技術(shù)之一,它為云計算服務(wù)提供基礎(chǔ)架構(gòu)層面的支撐,是ICT服務(wù)快速走向云計算的最主要驅(qū)動力??梢哉f,沒有虛擬化技術(shù)也就沒有云計算服務(wù)的落地與成功。隨著云計算應(yīng)用的持續(xù)升溫,業(yè)內(nèi)對虛擬化技術(shù)的重視也提到了一個新的高度。與此同時,我們的調(diào)查發(fā)現(xiàn),很多人對云計算和虛擬化的認識都存在誤區(qū),認為云計算就是虛擬化。事實上并非如此,虛擬化是云計算的重要組成部分但不是全部。

從技術(shù)上講,虛擬化是一種在軟件中仿真計算機硬件,以虛擬資源為用戶提供服務(wù)的計算形式。旨在合理調(diào)配計算機資源,使其更高效地提供服務(wù)。它把應(yīng)用系統(tǒng)各硬件間的物理劃分打破,從而實現(xiàn)架構(gòu)的動態(tài)化,實現(xiàn)物理資源的集中管理和使用。虛擬化的最大好處是增強系統(tǒng)的彈性和靈活性,降低成本、改進服務(wù)、提高資源利用效率。

從表現(xiàn)形式上看,虛擬化又分兩種應(yīng)用模式。一是將一臺性能強大的服務(wù)器虛擬成多個獨立的小服務(wù)器,服務(wù)不同的用戶。二是將多個服務(wù)器虛擬成一個強大的服務(wù)器,完成特定的功能。這兩種模式的核心都是統(tǒng)一管理,動態(tài)分配資源,提高資源利用率。在云計算中,這兩種模式都有比較多的應(yīng)用。

2、分布式數(shù)據(jù)存儲技術(shù)

云計算的另一大優(yōu)勢就是能夠快速、高效地處理海量數(shù)據(jù)。在數(shù)據(jù)爆炸的今天,這一點至關(guān)重要。為了保證數(shù)據(jù)的高可靠性,云計算通常會采用分布式存儲技術(shù),將數(shù)據(jù)存儲在不同的物理設(shè)備中。這種模式不僅擺脫了硬件設(shè)備的限制,同時擴展性更好,能夠快速響應(yīng)用戶需求的變化。

分布式存儲與傳統(tǒng)的網(wǎng)絡(luò)存儲并不完全一樣,傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù),存儲服務(wù)器成為系統(tǒng)性能的瓶頸,不能滿足大規(guī)模存儲應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴展的系統(tǒng)結(jié)構(gòu),利用多臺存儲服務(wù)器分擔(dān)存儲負荷,利用位置服務(wù)器定位存儲信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展。

在當(dāng)前的云計算領(lǐng)域,Google的GFS和Hadoop開發(fā)的開源系統(tǒng)HDFS是比較流行的兩種云計算分布式存儲系統(tǒng)。

GFS(Google File System)技術(shù):谷歌的非開源的GFS(GoogleFile System)云計算平臺滿足大量用戶的需求,并行地為大量用戶提供服務(wù)。使得云計算的數(shù)據(jù)存儲技術(shù)具有了高吞吐率和高傳輸率的特點。

HDFS(Hadoop Distributed File System)技術(shù):大部分ICT廠商,包括Yahoo、Intel的“云”計劃采用的都是HDFS的數(shù)據(jù)存儲技術(shù)。未來的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲、數(shù)據(jù)加密和安全性保證、以及繼續(xù)提高I/O速率等方面。

3、編程模式

從本質(zhì)上講,云計算是一個多用戶、多任務(wù)、支持并發(fā)處理的系統(tǒng)。高效、簡捷、快速是其核心理念,它旨在通過網(wǎng)絡(luò)把強大的服務(wù)器計算資源方便地分發(fā)到終端用戶手中,同時保證低成本和良好的用戶體驗。在這個過程中,編程模式的選擇至關(guān)重要。云計算項目中分布式并行編程模式將被廣泛采用。

分布式并行編程模式創(chuàng)立的初衷是更高效地利用軟、硬件資源,讓用戶更快速、更簡單地使用應(yīng)用或服務(wù)。在分布式并行編程模式中,后臺復(fù)雜的任務(wù)處理和資源調(diào)度對于用戶來說是透明的,這樣用戶體驗?zāi)軌虼蟠筇嵘?。MapReduce是當(dāng)前云計算主流并行編程模式之一。MapReduce模式將任務(wù)自動分成多個子任務(wù),通過Map和Reduce兩步實現(xiàn)任務(wù)在大規(guī)模計算節(jié)點中的高度與分配。

MapReduce是Google開發(fā)的java、Python、C++編程模型,主要用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。MapReduce模式的思想是將要執(zhí)行的問題分解成Map(映射)和Reduce(化簡)的方式,先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊,分配(調(diào)度)給大量計算機處理,達到分布式運算的效果,再通過Reduce程序?qū)⒔Y(jié)果匯整輸出。

4、大規(guī)模數(shù)據(jù)管理

處理海量數(shù)據(jù)是云計算的一大優(yōu)勢。那么如何處理則涉及到很多層面的東西,因此高效的數(shù)據(jù)處理技術(shù)也是云計算不可或缺的核心技術(shù)之一。對于云計算來說,數(shù)據(jù)管理面臨巨大的挑戰(zhàn)。云計算不僅要保證數(shù)據(jù)的存儲和訪問,還要能夠?qū)A繑?shù)據(jù)進行特定的檢索和分析。由于云計算需要對海量的分布式數(shù)據(jù)進行處理、分析,因此,數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。

Google的BT(BigTable)數(shù)據(jù)管理技術(shù)和Hadoop團隊開發(fā)的開源數(shù)據(jù)管理模塊HBase是業(yè)界比較典型的大規(guī)模數(shù)據(jù)管理技術(shù)。

BT(BigTable)數(shù)據(jù)管理技術(shù):BigTable是非關(guān)系的數(shù)據(jù)庫,是一個分布式的、持久化存儲的多維度排序Map.BigTable建立在 GFS,Scheduler, Lock Service和MapReduce之上,與傳統(tǒng)的關(guān)系數(shù)據(jù)庫不同,它把所有數(shù)據(jù)都作為對象來處理,形成一個巨大的表格,用來分布存儲大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。 Bigtable的設(shè)計目的是可靠的處理PB級別的數(shù)據(jù),并且能夠部署到上千臺機器上。

開源數(shù)據(jù)管理模塊HBase:HBase是Apache的Hadoop項目的子項目,定位于分布式、面向列的開源數(shù)據(jù)庫。HBase不同于一般的關(guān)系數(shù)據(jù)庫,它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。作為高可靠性分布式存儲系統(tǒng),HBase在性能和可伸縮方面都有比較好的表現(xiàn)。利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。

5、分布式資源管理

云計算采用了分布式存儲技術(shù)存儲數(shù)據(jù),那么自然要引入分布式資源管理技術(shù)。在多節(jié)點的并發(fā)執(zhí)行環(huán)境中,各個節(jié)點的狀態(tài)需要同步,并且在單個節(jié)點出現(xiàn)故障時,系統(tǒng)需要有效的機制保證其它節(jié)點不受影響。而分布式資源管理系統(tǒng)恰是這樣的技術(shù),它是保證系統(tǒng)狀態(tài)的關(guān)鍵。

另外,云計算系統(tǒng)所處理的資源往往非常龐大,少則幾百臺服務(wù)器,多則上萬臺,同時可能跨躍多個地域。且云平臺中運行的應(yīng)用也是數(shù)以千計,如何有效地管理這批資源,保證它們正常提供服務(wù),需要強大的技術(shù)支撐。因此,分布式資源管理技術(shù)的重要性可想而知。

全球各大云計算方案/服務(wù)提供商們都在積極開展相關(guān)技術(shù)的研發(fā)工作。其中Google內(nèi)部使用的Borg技術(shù)很受業(yè)內(nèi)稱道。另外,微軟、IBM、Oracle/Sun等云計算巨頭都有相應(yīng)解決方案提出。

6、信息安全

調(diào)查數(shù)據(jù)表明,安全已經(jīng)成為阻礙云計算發(fā)展的最主要原因之一。數(shù)據(jù)顯示,32%已經(jīng)使用云計算的組織和45%尚未使用云計算的組織的ICT管理將云安全作為進一步部署云的最大障礙。因此,要想保證云計算能夠長期穩(wěn)定、快速發(fā)展,安全是首要需要解決的問題。

事實上,云計算安全也不是新問題,傳統(tǒng)互聯(lián)網(wǎng)存在同樣的問題。只是云計算出現(xiàn)以后,安全問題變得更加突出。在云計算體系中,安全涉及到很多層面,包括網(wǎng)絡(luò)安全、服務(wù)器安全、軟件安全、系統(tǒng)安全等等。因此,有分析師認為,云安全產(chǎn)業(yè)的發(fā)展,將把傳統(tǒng)安全技術(shù)提到一個新的階段。

現(xiàn)在,不管是軟件安全廠商還是硬件安全廠商都在積極研發(fā)云計算安全產(chǎn)品和方案。包括傳統(tǒng)殺毒軟件廠商、軟硬防火墻廠商、IDS/IPS廠商在內(nèi)的各個層面的安全供應(yīng)商都已加入到云安全領(lǐng)域。相信在不久的將來,云安全問題將得到很好的解決.

7、云計算平臺管理

云計算資源規(guī)模龐大,服務(wù)器數(shù)量眾多并分布在不同的地點,同時運行著數(shù)百種應(yīng)用,如何有效地管理這些服務(wù)器,保證整個系統(tǒng)提供不間斷的服務(wù)是巨大的挑戰(zhàn)。云計算系統(tǒng)的平臺管理技術(shù),需要具有高效調(diào)配大量服務(wù)器資源,使其更好協(xié)同工作的能力。其中,方便地部署和開通新業(yè)務(wù)、快速發(fā)現(xiàn)并且恢復(fù)系統(tǒng)故障、通過自動化、智能化手段實現(xiàn)大規(guī)模系統(tǒng)可靠的運營是云計算平臺管理技術(shù)的關(guān)鍵。

對于提供者而言,云計算可以有三種部署模式,即公共云、私有云和混合云。三種模式對平臺管理的要求大不相同。對于用戶而言,由于企業(yè)對于ICT資源共享的控制、對系統(tǒng)效率的要求以及ICT成本投入預(yù)算不盡相同,企業(yè)所需要的云計算系統(tǒng)規(guī)模及可管理性能也大不相同。因此,云計算平臺管理方案要更多地考慮到定制化需求,能夠滿足不同場景的應(yīng)用需求。

包括Google、IBM、微軟、Oracle/Sun等在內(nèi)的許多廠商都有云計算平臺管理方案推出。這些方案能夠幫助企業(yè)實現(xiàn)基礎(chǔ)架構(gòu)整合、實現(xiàn)企業(yè)硬件資源和軟件資源的統(tǒng)一管理、統(tǒng)一分配、統(tǒng)一部署、統(tǒng)一監(jiān)控和統(tǒng)一備份,打破應(yīng)用對資源的獨占,讓企業(yè)云計算平臺價值得以充分發(fā)揮。

到此,相信大家對“云計算的發(fā)展史是怎樣的”有了更深的了解,不妨來實際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!


分享標(biāo)題:云計算的發(fā)展史是怎樣的
鏈接URL:http://weahome.cn/article/pjpghd.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部