這篇文章主要介紹docker中swarm集群故障與異常的示例分析,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
創(chuàng)新互聯(lián)公司2013年開創(chuàng)至今,是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司,擁有項(xiàng)目網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)網(wǎng)站策劃,項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命,1280元呂梁做網(wǎng)站,已為上家服務(wù),為呂梁各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:13518219792
具體如下:
在上次遭遇 docker swarm 集群故障后,我們將 docker 由 17.10.0-ce 升級(jí)為最新穩(wěn)定版 docker 17.12.0-ce 。
前天晚上22:00之后集群中的2個(gè)節(jié)點(diǎn)突然出現(xiàn)CPU波動(dòng),在CPU波動(dòng)之后,在凌晨夜深人靜、訪問量極低的時(shí)候,整個(gè)集群出現(xiàn)了故障,訪問集群上的所有站點(diǎn)都出現(xiàn)了502,過了一段時(shí)間后自動(dòng)恢復(fù)正常。
ECS實(shí)例:swarm1-node5,CPU百分比于00:52發(fā)生告警,值為96.14%,持續(xù)時(shí)間0分鐘
。。。
昨天早上發(fā)現(xiàn)訪問部分節(jié)點(diǎn)中的容器應(yīng)用響應(yīng)有些慢,于是我們通過阿里云控制臺(tái)強(qiáng)制重啟這些節(jié)點(diǎn)后恢復(fù)正常。
今天上午我們?cè)诩荷细乱粋€(gè)應(yīng)用時(shí)(部署新的鏡像),出現(xiàn)了奇怪的問題。應(yīng)用是在 swarm1-node1 這個(gè) manager 節(jié)點(diǎn)上部署的,部署后容器運(yùn)行在其他節(jié)點(diǎn)上,但奇怪的是只有在 swarm1-node1 這個(gè)節(jié)點(diǎn)上可以正常訪問容器中的站點(diǎn),在其他節(jié)點(diǎn)上訪問都是 503 ,用 docker stack rm 命令刪除應(yīng)用并重新部署問題依舊。
當(dāng)時(shí) docker-flow-proxy(路由應(yīng)用) 的 2 個(gè)容器都是部署在 swarm1-node1 節(jié)點(diǎn)上的,從問題現(xiàn)象看,在 swarm1-node1 節(jié)點(diǎn)上 docker-flow-proxy 容器與外界的通信正常,docker-flow-proxy 容器與其他節(jié)點(diǎn)上的容器的 overlay 網(wǎng)絡(luò)(網(wǎng)絡(luò)A)通信正常;在其他節(jié)點(diǎn)上,外界的請(qǐng)求通過 overlay 網(wǎng)絡(luò)(網(wǎng)絡(luò)B)被正常轉(zhuǎn)發(fā)到 docker-flow-proxy 容器,卻不能被正常路由到其他節(jié)點(diǎn)上對(duì)應(yīng)的容器(也是通過 overlay 網(wǎng)絡(luò)A)。對(duì)這個(gè)奇怪現(xiàn)象實(shí)在想不通,但是問題擺在那,想不通也要解決。想不通背后的原因,那我們換個(gè)角度,其他節(jié)點(diǎn)都異常,就 swarm1-node1 正常,根據(jù)少數(shù)服從多數(shù)的粗暴原則,那就認(rèn)為swarm1-node1 不正常吧。于是通過下面的命令將swarm1-node1 節(jié)點(diǎn)下線:
docker node update --availability drain swarm1-node1
swarm1-node1 下線后,其他節(jié)點(diǎn)都恢復(fù)了正常,果然是 swarm1-node1 不正常。
swarm1-node1 下線的背后是 docker-flow-proxy 容器換到其他節(jié)點(diǎn)上運(yùn)行。
問題就這樣被猜測(cè)解決了。
以上是“docker中swarm集群故障與異常的示例分析”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!