背景

公司內(nèi)部的云平臺為各個(gè)業(yè)務(wù)線提供了大量的實(shí)體機(jī)和虛擬機(jī)來運(yùn)行業(yè)務(wù)的服務(wù)，經(jīng)過統(tǒng)計(jì)發(fā)現(xiàn)，這些分配給業(yè)務(wù)的機(jī)器cpu, memory等資源利用并不充分;

如果能夠充分利用這些機(jī)器上的空閑資源同時(shí)又能保證業(yè)務(wù)服務(wù)的正常運(yùn)行，將會節(jié)省不少的機(jī)器資源;

選型

一提到多任務(wù)運(yùn)行和調(diào)度，大部分人可能首先都會想到Kubernetes(k8s) + Docker, 跑起來如清風(fēng)拂面, 順暢無比。然而我們的業(yè)務(wù)機(jī)器大部分為centos 6.2, linux kernel 2.6的環(huán)境,而docker的運(yùn)行需要Linux kernel的版本是 3.10+

因?yàn)橄肜脴I(yè)務(wù)正在使用的機(jī)器，又不能影響現(xiàn)有已在跑的服務(wù), 所以不能升級內(nèi)核， 不能重啟機(jī)器，顯然k8s這條路走不通;

還好，這個(gè)世界總是提供給我們多樣的選擇，除了Kubernetes(k8s) + Docker, 我們還有mesos;

Mesos簡介

先放上官方網(wǎng)站, 上面有很詳細(xì)的說明;

簡單來說，Mesos就是用于整個(gè)計(jì)算中心的操作系統(tǒng)，它統(tǒng)一管理計(jì)算中心所有機(jī)器的cpu, memory, disk, network等計(jì)算資源，按任務(wù)所需分配資源，調(diào)度任務(wù)，支持故障轉(zhuǎn)移等等;

Mesos特性

Mesos最大特點(diǎn)是兩級資源調(diào)度, 如下圖：

上面架構(gòu)圖的簡要說明如下:

在Mesos上可以運(yùn)行Spark， Storm， Hadoop， Marathon等多種Framework;

Mesos系統(tǒng)架構(gòu)

針對任務(wù)隔離這塊, Mesos除了支持docker容器技術(shù)，還提供了它自己的Mesos Containerizer, 這正是我們所需要的.其實(shí)Mesos Containerizer目前也是利用Linux Cgroup作資源限制, 用Linux namespace作資源隔離.

面臨挑戰(zhàn)

我們的多任務(wù)調(diào)度系統(tǒng)需要解決的幾個(gè)問題

多任務(wù)調(diào)度系統(tǒng)總體架構(gòu)

架構(gòu)設(shè)計(jì)圖 

Mesos agent在業(yè)務(wù)機(jī)器上非侵入式部署

我們采用的是Mesos 1.4.1版本，用C++11編寫，Mesos項(xiàng)目本身非常龐大,依賴庫必然也很多，解決這些運(yùn)行依賴問題首當(dāng)其沖;

部署原則就是不改變,不污染所部署的機(jī)器環(huán)境，針對libstdc++和其他一些so, 我們不會將其安裝到例如/usr/local/lib這樣的系統(tǒng)目錄, 而是在打包時(shí)采用動態(tài)更改可執(zhí)行程序的rpath的方法，使其運(yùn)行時(shí)從我們的安裝目錄加載相應(yīng)的so庫, 具體作法就是

這樣部署完，Mesos agent只是一個(gè)單獨(dú)的目錄，卸載只需要停掉進(jìn)程，刪除目錄就好;

說一下編譯過程,雖然官網(wǎng)上已經(jīng)介紹得比較詳細(xì),但在編譯過程中還是會遇到一些問題:

實(shí)時(shí)監(jiān)控和調(diào)整Agent所能使用的計(jì)算資源

自行開發(fā)了Monitor程序，和Agent一同部署在業(yè)務(wù)機(jī)器上，周期性的監(jiān)測機(jī)器上可用資源和Agent本身所用資源;

Mesos為我們提供了動態(tài)資源保留這個(gè)超實(shí)用的功能，可以限制Agent當(dāng)前針對某個(gè)Role可以使用的計(jì)算資源:

Monitor的監(jiān)控評估結(jié)果就是當(dāng)前Agent可以使用的計(jì)算資源;

本想著到這里這個(gè)問題就結(jié)束了，測試時(shí)發(fā)現(xiàn)Agent并不能在線實(shí)時(shí)調(diào)整這個(gè)動態(tài)資源保留，需要在配置文件時(shí)更新好當(dāng)前能夠使用的動態(tài)資源,然后重啟Agent;

重啟Agent是我們不能忍受的,因此我們修改了源碼，通過http接口在線調(diào)整動態(tài)資源保留, 這部分其實(shí)不難,mesos http接口定義十分清晰,依葫蘆畫瓢就好了.

task的部署目前我們采用Marathon，上手簡單，功能夠用; 如果需要更靈活的調(diào)整策略，可能就需要自己開采框架或基于某一框架二次開發(fā)了;

task其實(shí)是有重要，緊急之分，占用資源也不盡相同。對于重要緊急任務(wù)，為了保障任務(wù)的更好運(yùn)行，我們會利用Mesos attribute,在調(diào)度任務(wù)時(shí)讓特定任務(wù)只跑在具有特定attributes的agent上, 這就需要為每個(gè)mesos agent設(shè)置相應(yīng)的attributes;

遇到了同樣的問題，mesos不能在線動態(tài)調(diào)整attributes :-(, 其實(shí)也比較簡單，稍微梳理下mesos源碼結(jié)構(gòu)，改起來不難;

還有一個(gè)問題，attributes是動態(tài)調(diào)整的，agent如果重啟了怎么辦？我們?yōu)榇瞬渴鹆薳tcd集群來管理，每臺agent都是etcd上的一個(gè)node, 通過etcd提供的http接口更新其attribrtes, agent會周期性的從etcd上同步;同時(shí)各agent 上的attributes信息也很容易從etcd上獲得;

直接操作etcd, 刪除某臺agent上的attribute, 那依賴于這種attribute部署的任務(wù)會自動別調(diào)度走,不再在這臺agent上運(yùn)行;

task隔離問題，針對cpu和memory，mesos都是通過cgroup來完成，對于cpu的限制， 我們使用cfs方式，前提是需要判斷當(dāng)前kernel是否支持.對于disk的限制，目前mesos使用的是du命令周期性檢測的方式;

對于cpu的限制,mesos有兩種方式:

在我們的大部分環(huán)境中，受限于kernel版本，mount namespace不支持，因此我們采用rootfs + chroot的方式來作簡單的資源隔離;

我們定制了若干版本的rootfs, 任務(wù)打包就是將任務(wù)本身的依賴和相應(yīng)rootfs結(jié)合的過程, 打包好可以放到s3等存儲上，供marathon部署任務(wù)時(shí)調(diào)用。

這里我們結(jié)合marathon的一個(gè)任務(wù)部署的json配置來講一下, 先看一個(gè)這個(gè)配置, 我將說明直接寫在里面