真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

ApacheMesos總體架構(gòu)分析

這篇文章主要介紹“Apache Mesos總體架構(gòu)分析”,在日常操作中,相信很多人在Apache Mesos總體架構(gòu)分析問題上存在疑惑,小編查閱了各式資料,整理出簡(jiǎn)單好用的操作方法,希望對(duì)大家解答”Apache Mesos總體架構(gòu)分析”的疑惑有所幫助!接下來,請(qǐng)跟著小編一起來學(xué)習(xí)吧!

成都創(chuàng)新互聯(lián)公司是專業(yè)的鯉城網(wǎng)站建設(shè)公司,鯉城接單;提供網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè),網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行鯉城網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

1. 前言

同其他大部分分布式系統(tǒng)一樣,Apache  Mesos為了簡(jiǎn)化設(shè)計(jì),也是采用了master/slave結(jié)構(gòu),為了解決master單點(diǎn)故障,將master做得盡可能地輕量級(jí),其上面所有的元數(shù) 據(jù)可以通過各個(gè)slave重新注冊(cè)而進(jìn)行重構(gòu),故很容易通過zookeeper解決該單點(diǎn)故障問題。

2. Apache mesos中的基本術(shù)語解釋

(1)    Mesos-master:Mesos master,主要負(fù)責(zé)管理各個(gè)framework和slave,并將slave上的資源分配給各個(gè)framework

(2)    Mesos-slave:Mesos slave,負(fù)責(zé)管理本節(jié)點(diǎn)上的各個(gè)mesos-task,比如:為各個(gè)executor分配資源

(3)    Framework:計(jì)算框架,如:Hadoop,Spark等,通過MesosSchedulerDiver接入Mesos

(4)    Executor:執(zhí)行器,安裝到mesos-slave上,用于啟動(dòng)計(jì)算框架中的task。

當(dāng)用戶試圖添加一種新的計(jì)算框架到Mesos中時(shí),需要實(shí)現(xiàn)一個(gè)Framework scheduler和executor以接入Mesos。

3. 總體架構(gòu)

Apache Mesos由四個(gè)組件組成,分別是Mesos-master,mesos-slave,framework和executor。

Mesos-master是整個(gè)系統(tǒng)的核心,負(fù)責(zé)管理接入mesos的各個(gè)framework(由frameworks_manager管理)和 slave(由slaves_manager管理),并將slave上的資源按照某種策略分配給framework(由獨(dú)立插拔模塊Allocator管 理)。

Mesos-slave負(fù)責(zé)接收并執(zhí)行來自mesos-master的命令、管理節(jié)點(diǎn)上的mesos-task,并為各個(gè)task分配資源。 mesos-slave將自己的資源量發(fā)送給mesos-master,由mesos-master中的Allocator模塊決定將資源分配給哪個(gè) framework,當(dāng)前考慮的資源有CPU和內(nèi)存兩種,也就是說,mesos-slave會(huì)將CPU個(gè)數(shù)和內(nèi)存量發(fā)送給mesos-master,而用 戶提交作業(yè)時(shí),需要指定每個(gè)任務(wù)需要的CPU個(gè)數(shù)和內(nèi)存量,這樣,當(dāng)任務(wù)運(yùn)行時(shí),mesos-slave會(huì)將任務(wù)放到包含固定資源的linux  container中運(yùn)行,以達(dá)到資源隔離的效果。很明顯,master存在單點(diǎn)故障問題,為此,mesos采用了zookeeper解決該問題。

Framework是指外部的計(jì)算框架,如Hadoop,Mesos等,這些計(jì)算框架可通過注冊(cè)的方式接入mesos,以便mesos進(jìn)行統(tǒng)一管理 和資源分配。Mesos要求可接入的框架必須有一個(gè)調(diào)度器模塊,該調(diào)度器負(fù)責(zé)框架內(nèi)部的任務(wù)調(diào)度。當(dāng)一個(gè)framework想要接入mesos時(shí),需要修 改自己的調(diào)度器,以便向mesos注冊(cè),并獲取mesos分配給自己的資源,  這樣再由自己的調(diào)度器將這些資源分配給框架中的任務(wù),也就是說,整個(gè)mesos系統(tǒng)采用了雙層調(diào)度框架:***層,由mesos將資源分配給框架;第二層, 框架自己的調(diào)度器將資源分配給自己內(nèi)部的任務(wù)。當(dāng)前Mesos支持三種語言編寫的調(diào)度器,分別是C++,java和python,為了向各種調(diào)度器提供統(tǒng) 一的接入方式,Mesos內(nèi)部采用C++實(shí)現(xiàn)了一個(gè)MesosSchedulerDriver(調(diào)度器驅(qū)動(dòng)器),framework的調(diào)度器可調(diào)用該 driver中的接口與Mesos-master交互,完成一系列功能(如注冊(cè),資源分配等)。

Executor主要用于啟動(dòng)框架內(nèi)部的task。由于不同的框架,啟動(dòng)task的接口或者方式不同,當(dāng)一個(gè)新的框架要接入mesos時(shí),需要編寫 一個(gè)executor,告訴mesos如何啟動(dòng)該框架中的task。為了向各種框架提供統(tǒng)一的執(zhí)行器編寫方式,Mesos內(nèi)部采用C++實(shí)現(xiàn)了一個(gè) MesosExecutorDiver(執(zhí)行器驅(qū)動(dòng)器),framework可通過該驅(qū)動(dòng)器的相關(guān)接口告訴mesos啟動(dòng)task的方法。

Apache Mesos總體架構(gòu)分析

到此,關(guān)于“Apache Mesos總體架構(gòu)分析”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí),請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章!


新聞名稱:ApacheMesos總體架構(gòu)分析
文章出自:http://weahome.cn/article/gohcdo.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部