crontab是單機(jī)工具
(所有worker都在調(diào)度，如果有1000個(gè)任務(wù)，所有worker都在調(diào)用者1000個(gè)任務(wù)。對(duì)于編譯型語(yǔ)言來(lái)說(shuō)，排序一個(gè)一千萬(wàn)的數(shù)組只需要一秒，對(duì)于一千一萬(wàn)的調(diào)度，無(wú)需擔(dān)心性能)
(相當(dāng)于完成一個(gè)到worker集群的通知，通知它們殺死任務(wù))
(
1.etcd中的任務(wù)會(huì)實(shí)時(shí)同步給worker，worker的調(diào)度協(xié)程會(huì)更新內(nèi)存中維護(hù)的任務(wù)列表。etcd在內(nèi)存中會(huì)鏡像一份和etcd完全一樣的任務(wù)清單，通過(guò)監(jiān)聽(tīng)機(jī)制實(shí)現(xiàn)。
2.調(diào)度協(xié)程會(huì)周期性檢查所有任務(wù)的cron任務(wù)表達(dá)式，掃描到期任務(wù)，到期任務(wù)會(huì)交給執(zhí)行協(xié)程去執(zhí)行。
3.同時(shí)，調(diào)度協(xié)程還會(huì)監(jiān)聽(tīng)一個(gè)任務(wù)控制事件(想要?dú)⑺滥硞€(gè)任務(wù))，收到后，多個(gè)協(xié)程會(huì)強(qiáng)制中斷執(zhí)行中的子進(jìn)程(shell命令)。
4.執(zhí)行協(xié)程返回結(jié)果給調(diào)度協(xié)程，調(diào)度協(xié)程可以更新內(nèi)存中任務(wù)狀態(tài)，當(dāng)任務(wù)調(diào)度給執(zhí)行協(xié)程的時(shí)候，任務(wù)的狀態(tài)就被更新為執(zhí)行中了。任務(wù)結(jié)果返回就將狀態(tài)改為執(zhí)行完成。然后將執(zhí)行結(jié)果投遞給日志協(xié)程。
)
(worker是個(gè)集群，每個(gè)workder任務(wù)清單都是從etcd中全量同步的，所以大家都按照每個(gè)任務(wù)的調(diào)度周期，在同時(shí)調(diào)度，對(duì)于同一個(gè)任務(wù)，比如每秒執(zhí)行的任務(wù)，所有worker每隔一秒都會(huì)去執(zhí)行這個(gè)任務(wù)。如果不做并發(fā)控制，所有worker會(huì)同一時(shí)刻全部執(zhí)行一次這個(gè)任務(wù)。我們希望一個(gè)任務(wù)同一時(shí)刻只被執(zhí)行一次，不允許任務(wù)并發(fā)調(diào)度。如何防止并發(fā)呢？去etcd中搶鎖，大家都要調(diào)度，誰(shuí)搶到誰(shuí)調(diào)度，其他人等待下次過(guò)期，下次接著搶?zhuān)瑩尩轿揖蛨?zhí)行。這種很依賴(lài)各個(gè)時(shí)間節(jié)點(diǎn)的同步，校時(shí)不同會(huì)讓有些機(jī)器老是先搶到鎖。我們需要時(shí)間校準(zhǔn)保障一致，還可以做些小策略，比如隨機(jī)睡眠n-m毫秒)
創(chuàng)新互聯(lián)www.cdcxhl.cn，專(zhuān)業(yè)提供香港、美國(guó)云服務(wù)器，動(dòng)態(tài)BGP最優(yōu)骨干路由自動(dòng)選擇，持續(xù)穩(wěn)定高效的網(wǎng)絡(luò)助力業(yè)務(wù)部署。公司持有工信部辦法的idc、isp許可證， 機(jī)房獨(dú)有T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確進(jìn)行流量調(diào)度，確保服務(wù)器高可用性。佳節(jié)活動(dòng)現(xiàn)已開(kāi)啟，新人活動(dòng)云服務(wù)器買(mǎi)多久送多久。
重慶分公司
重慶分公司
