本篇文章給大家分享的是有關(guān)如何在Kubernetes上部署和伸縮Jenkins,小編覺得挺實(shí)用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
站在用戶的角度思考問題,與客戶深入溝通,找到眉縣網(wǎng)站設(shè)計(jì)與眉縣網(wǎng)站推廣的解決方案,憑借多年的經(jīng)驗(yàn),讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合,創(chuàng)造個性化、用戶體驗(yàn)好的作品,建站類型包括:做網(wǎng)站、網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名注冊、網(wǎng)頁空間、企業(yè)郵箱。業(yè)務(wù)覆蓋眉縣地區(qū)。我們將使用Rancher在Kubernetes上部署和伸縮Jenkins。按照步驟一步步來,你將會使用到我們用來測試實(shí)際構(gòu)建作業(yè)的master-agent體系結(jié)構(gòu),創(chuàng)建出功能齊全的Jenkins。
介 紹
Jenkins是一個開源的持續(xù)集成和持續(xù)交付工具,它可以用來自動構(gòu)建、測試和部署軟件。在全世界有超過一百萬的用戶在使用Jenkins,它是目前最流行的自動化服務(wù)器。Jenkins的優(yōu)勢包括:
是一個擁有龐大社區(qū)支持的開源軟件
基于Java的代碼庫,使其可以移植到所有主要平臺
有超過1000個插件的豐富生態(tài)系統(tǒng)
Jenkins能夠與主流的源代碼管理系統(tǒng)(Git、SVN、Mercurial以及CVS)、主流的構(gòu)建工具(Ant、Maven、Grunt)、shell腳本和Windows批處理命令、測試框架、報表生成器的都良好地協(xié)同工作。Jenkins的插件還提供了對Docker和Kubernetes的支持,Docker和Kubernetes能夠創(chuàng)建、部署基于云的微服務(wù)環(huán)境,并且把它們投入到測試和生產(chǎn)部署中。
Jenkins支持master-agent體系結(jié)構(gòu)(許多build agents/構(gòu)建代理根據(jù)master服務(wù)器調(diào)度來完成任務(wù)),使其具有高度的可伸縮性。Master的工作是安排構(gòu)建作業(yè),將作業(yè)分發(fā)給代理實(shí)際執(zhí)行,監(jiān)視這些代理并獲得構(gòu)建的結(jié)果。除此之外,master服務(wù)器還可以直接執(zhí)行構(gòu)建作業(yè)。
代理的任務(wù)是構(gòu)建從master服務(wù)器發(fā)送過來的作業(yè)。作業(yè)可以配置在指定類型的代理商運(yùn)行,如果沒有特別需求,Jenkins就簡單地選擇下一個可用代理。
Jenkins的可伸縮性可以帶來許多便利:
并行運(yùn)行多個構(gòu)建方案
自動地掛載和移除代理,節(jié)約開銷
分配負(fù)載
當(dāng)然,盡管Jenkins包含了這種開箱即用的可伸縮性特性,配置它的過程卻并不是很簡單。有許多能夠擴(kuò)展Jenkins的選擇,而其中一種強(qiáng)大的選擇就是使用Kubernetes。
Kubernetes是什么?
Kubernetes是一個開源的容器編排工具。它主要用來幫助操作人員部署、伸縮、更新和維護(hù)服務(wù),以及提供服務(wù)發(fā)現(xiàn)機(jī)制來管理節(jié)點(diǎn)集群上的容器化應(yīng)用程序。你可以查看官方文檔,了解更多關(guān)于Kubernetes的內(nèi)容和用途:
https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/
Kubernetes是管理可伸縮的、基于容器的工作負(fù)載的最佳工具之一。包括Jenkins在內(nèi)的大多數(shù)應(yīng)用程序都可以進(jìn)行容器化,而這也使得Kubernetes成為了非常好的選擇。
項(xiàng)目目標(biāo)
在我們開始之前,先花一點(diǎn)時間描述一下我們將要構(gòu)建的系統(tǒng)。
我們首先會將Jenkins master實(shí)例部署到Kubernetes集群上。我們將使用Jenkins的kubernetes插件。我們將使用Jenkins的kubernetes插件,通過提供動態(tài)代理來適配當(dāng)前的工作負(fù)載,在集群上擴(kuò)展Jenkins。該插件基于具體的Docker鏡像啟動代理,為每個構(gòu)建創(chuàng)建一個Kubernetes pod。在構(gòu)建完成后,Jenkins將刪除pod來節(jié)省資源。代理則使用JNLP(Java Network Launch Protocol,Java網(wǎng)絡(luò)啟動協(xié)議)啟動,因此容器能夠在啟動和運(yùn)行之后自動連接到Jenkins master。
前期準(zhǔn)備和安裝
你需要準(zhǔn)備這些東西來完成本教程:
Linux機(jī)器用于運(yùn)行Rancher:我們還會使用它構(gòu)建自定義的Jenkins鏡像??梢园凑誖ancher安裝入門指南在主機(jī)上安裝Docker和Rancher:
https://rancher.com/quick-start/
Docker Hub賬戶:我們需要一個帶有容器鏡像倉庫的賬戶,為Jenkins master和代理推送自定義鏡像。
GCP賬戶:我們將在GCP上部署Kubernetes集群。谷歌云平臺的free-tier應(yīng)該能夠完成這項(xiàng)工作。您實(shí)際使用其他公有云,操作也是一樣的。
為Jenkins組件構(gòu)建自定義的鏡像
那么我們先從給Jenkins組件構(gòu)建自定義鏡像開始,將它們推送到Docker Hub。
登錄到Linux服務(wù)器,在那里你就可以運(yùn)行Rancher并構(gòu)建鏡像。如果還沒有安裝Docker和Rancher,請按照Rancher快速入門指南在主機(jī)上安裝Docker和Rancher。主機(jī)準(zhǔn)備好后,我們就可以準(zhǔn)備dockerfile了。
編寫Jenkins Master Dockerfile
我們先在當(dāng)前文件夾下創(chuàng)建一個名為Dockerfile-jenkins-master的文件,來定義Jenkins master鏡像:
在文件內(nèi)部,加入下面Dockerfile構(gòu)建命令。這些命令使用主Jenkins Docker鏡像作為基礎(chǔ),配置我們用于部署到Kubernetes集群的插件:
完成后,保存并關(guān)閉文件
編寫Jenkins代理的Dockerfiles
接下來,我們就可以為Jenkins代理創(chuàng)建Dockerfile文件了。我們將創(chuàng)建兩個代理鏡像,演示Jenkins如何正確識別為每個作業(yè)準(zhǔn)備的正確代理。
在當(dāng)前目錄中創(chuàng)建一個空文件。我們將把它復(fù)制到鏡像中作為正在構(gòu)建的每個代理的標(biāo)識符:
現(xiàn)在,為第一個代理鏡像創(chuàng)建Dockerfile
該鏡像將把空文件復(fù)制到一個唯一的名稱,標(biāo)記所使用的代理。
完成之后保存并關(guān)閉文件
最后,定義第二個代理。這個和前一個代理相同,不過使用了不同的文件標(biāo)識符:
保存并關(guān)閉文件
現(xiàn)在你的工作目錄看起來應(yīng)該是這樣的:
構(gòu)建鏡像并Push到Docker Hub
有了準(zhǔn)備好的Dockerfile,我們現(xiàn)在就準(zhǔn)備構(gòu)建和push鏡像到Docker Hub啦。
首先構(gòu)建Jenkins master的鏡像:
注意:下面的命令中,將
[root@rancher-instance jenkins-kubernetes]# docker build -f Dockerfile-jenkins-master -t <dockerhub_user>/jenkins-master .
當(dāng)命令的結(jié)果返回之后,查看新創(chuàng)建的鏡像:
使用賬戶憑證登錄到Docker Hub:
[root@rancher-instance jenkins-kubernetes]# docker loginLogin with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username:
Password:
Login Succeeded
現(xiàn)在,將鏡像推送到Docker Hub:
注意:下面的命令中,同樣注意替換成自己的Docker Hub賬戶
你可能還需要同樣的命令來構(gòu)建第二個鏡像給Jenkins JNLP代理:
注意:下面的命令中,注意將
如果一切順利,你就能在Docker Hub賬戶中看到下圖這個狀態(tài):
使用Rancher部署集群
現(xiàn)在我們的鏡像已經(jīng)發(fā)布,就可以使用Rancher來幫助部署GKE集群了。如果您之前安裝了Rancher,通過web瀏覽器訪問服務(wù)器的ip地址就能登錄到實(shí)例了。
接下來,創(chuàng)建新的GKE集群。這里為了創(chuàng)建具有訪問權(quán)限的服務(wù)賬戶,你需要登錄到谷歌云賬戶。使用其他的公有云服務(wù)所需的步驟也是相似的,具體可以參考文檔學(xué)習(xí)如何創(chuàng)建服務(wù)賬號,以及如何與Rancher一起部署集群:
https://rancher.com/docs/rancher/v2.x/en/cluster-provisioning/hosted-kubernetes-clusters/
在集群上部署Jenkins
在集群準(zhǔn)備好之后,我們就可以部署Jenkins master和創(chuàng)建一些服務(wù)了。如果你對kubectl比較熟悉,你可以直接用命令行來實(shí)現(xiàn);不過通過Rancher的UI,你也能很容易地部署所有需要的組件。
無論你選擇何種方式將工作負(fù)載添加到集群上,都需要在本地計(jì)算機(jī)上創(chuàng)建下面的文件來定義需要創(chuàng)建的對象。
首先創(chuàng)建一個文件定義Jenkins部署:
在文件里粘貼下面的內(nèi)容:
注意:下面的內(nèi)容中將
`apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: jenkins
spec:
replicas: 1
template:
metadata:
labels:
app: jenkins
spec:
containers:
name: jenkins
image:
env:
name: JAVA_OPTS
value: -Djenkins.install.runSetupWizard=false
ports:
name: http-port
containerPort: 8080
name: jnlp-port
containerPort: 50000
volumeMounts:
name: jenkins-home
mountPath: /var/jenkins_home
volumes:
name: jenkins-home
emptyDir: {}`
下面,創(chuàng)建一個文件配置我們需要的兩個服務(wù)。
一個是LoadBalancer服務(wù),它將提供一個公開的IP地址便于我們在Internet上訪問Jenkins。另一個是ClusterIP服務(wù),用于在master和代理之間的內(nèi)部通信,之后會用到該服務(wù):
在文件內(nèi),復(fù)制下面的YAML結(jié)構(gòu):
`apiVersion: v1
kind: Service
metadata:
name: jenkins
spec:
type: LoadBalancer
ports:
port: 80
targetPort: 8080
selector:
app: jenkins
apiVersion: v1
kind: Service
metadata:
name: jenkins-jnlp
spec:
type: ClusterIP
ports:
port: 50000
targetPort: 50000
selector:
app: jenkins`
在Rancher上,點(diǎn)擊自己管理的集群(例子中名為jenkins)。在左上角的菜單中,選擇Default項(xiàng)目,然后選擇Workloads選項(xiàng)卡。
現(xiàn)在,點(diǎn)擊Import YAML。在接下來的頁面中,點(diǎn)擊右上角的Read from a file按鈕。選擇在本地創(chuàng)建的deployment.yml文件并點(diǎn)擊Import。
Rancher將在集群上面部署一個基于你Jenkins master鏡像的pod
接下來,我們需要在Jenkins master上配置訪問UI的方式。
在Load Balanced選項(xiàng)卡中,按照先前導(dǎo)入文件一樣的操作。單擊Import YAML按鈕,接著點(diǎn)Read from a file按鈕。然后從自己的電腦中選擇service.yml文件,點(diǎn)擊Import按鈕。
Rancher會開始創(chuàng)建你的服務(wù)。部署負(fù)載均衡會花費(fèi)一些時間。
在service狀態(tài)成為Active后,你可以點(diǎn)擊在負(fù)載均衡器行后側(cè)的三個垂直點(diǎn),選擇View/Edit YAML來找到它的公共IP地址。在這里,向下滾動界面找到在status->loadBalancer->ingress->ip下的IP地址。
這樣我們就可以通過該IP地址在web瀏覽器中訪問Jenkins UI了。
配置動態(tài)的構(gòu)建代理
有了Jenkins master啟動運(yùn)行后,我們可以進(jìn)一步配置動態(tài)構(gòu)建代理,以在必要的時候可以自動啟動Pods。
禁用默認(rèn)Master構(gòu)建代理
Jenkins UI中左側(cè)的Build Executor Status下,默認(rèn)配置了兩個Executor,等待執(zhí)行構(gòu)建作業(yè),它們是由Jenkins master提供的。
主實(shí)例應(yīng)該只負(fù)責(zé)調(diào)度構(gòu)建作業(yè)、將作業(yè)分發(fā)給代理以供執(zhí)行、監(jiān)視代理并獲取構(gòu)建結(jié)果。因?yàn)槲覀儾幌M鲗?shí)例執(zhí)行構(gòu)建,因此要禁用這些。
點(diǎn)擊Manage Nodes之后的Manage Jenkins。
單擊與master行上的齒輪圖標(biāo)。
接下來的頁面中,把# of executors設(shè)置成0,點(diǎn)擊Save。
這兩個空閑的executors將從UI左側(cè)的Build Executor Status中刪除。
收集配置信息
為了在Kubernetes集群上自動部署構(gòu)建代理,我們需要一些信息來配置Jenkins。我們需要三條來自GCP賬戶的信息以及一條來自ClusterIP服務(wù)中的信息。
在你的GCP賬戶中,選擇Kubernetes Engine,接著是Clusters,然后點(diǎn)擊集群的名稱。在Detail列中,復(fù)制端點(diǎn)IP供之后使用。這是我們需要讓Jenkins連接到集群的URL:
下一步,點(diǎn)擊端點(diǎn)右側(cè)的Show credentials。復(fù)制Username和Password。
現(xiàn)在,切換到Rancher UI。在左上角菜單中,選擇Jenkins集群上的Default項(xiàng)目。在上方的導(dǎo)航窗口中選擇Workloads選項(xiàng)卡,然后單擊頁面上的Service Discovery選項(xiàng)卡:
點(diǎn)擊jenkins-jnlp行上垂直的三個點(diǎn),然后單擊View/Edit YAML。復(fù)制spec > clusterIP以及spec > ports > port中的值備用。
配置Jenkins Kubernetes插件
返回主Jenkins儀表盤,點(diǎn)擊Manage Jenkins,然后選擇Manage Plugins:
點(diǎn)擊Installed選項(xiàng)卡并查看Kubernetes插件是否安裝:
現(xiàn)在我們來配置插件。前往Manage Jenkins并選擇Configure System:
滑到頁面底部的Cloud部分。點(diǎn)擊Add a new cloud,選擇Kubernetes。
在下面的表單中,Kubernetes URL字段上輸入https://,然后輸入從GCP賬戶復(fù)制的集群端點(diǎn)IP地址。
在Credentials下,點(diǎn)擊Add按鈕,選擇Jenkins。在出現(xiàn)的表單上,輸入從GCP賬戶復(fù)制的用戶名和密碼,單擊底部的Add按鈕。
返回到Kubernetes表單,從Credentials下拉菜單中選擇剛才添加的憑據(jù)并單擊Test Connection按鈕。如果配置正確,則會顯示“Connection test successful”。
現(xiàn)在,向下滾動到頁面底部的Images部分,單擊Add Pod Template按鈕,然后選擇Kubernetes Pod Template。 使用唯一值填寫“Name”和“Labels”字段,以標(biāo)識您的第一個代理。 我們將使用標(biāo)簽指定應(yīng)該使用哪個代理鏡像來運(yùn)行每個構(gòu)建。
接下來,在Jenkins tunnel字段中,輸入你在Rancher UI中從jenkins-jnlp服務(wù)檢索到的IP地址和端口,用冒號分隔:
現(xiàn)在,在Container字段中,單擊Add Container按鈕并選擇Container Template,在彈出的內(nèi)容中填寫以下字段:
Name: jnlp(這是Jenkins代理需要的)
Docker image:
Command to run:刪除這里的值
Arguments to pass to the command:刪除這里的值
其余字段保持原樣。
接下來,單擊Add Pod Template按鈕,再次選擇Kubernetes Pod Template。對創(chuàng)建的第二個代理鏡像重復(fù)剛才的過程,需要注意的是,在需要的時候要修改那些對應(yīng)于第二個鏡像的值:
單擊Save按鈕保存修改并繼續(xù)。
測試動態(tài)構(gòu)建作業(yè)
現(xiàn)在我們已經(jīng)完成了配置工作,我們可以創(chuàng)建一些構(gòu)建作業(yè),保證Jenkins能夠在Kubernetes之上進(jìn)行伸縮。這里我們將為每個Jenkins代理創(chuàng)建5個構(gòu)建作業(yè)。
在Jenkins主頁面,單擊左側(cè)的New Item,為第一個代理的第一個構(gòu)建輸入名稱,選擇Freestyle project并單擊OK按鈕。
在下一頁的Label Expression字段中,輸入你為第一個Jenkins代理鏡像設(shè)置的標(biāo)簽,如果單擊字段之外,會出現(xiàn)一條消息,提示標(biāo)簽由云提供服務(wù)。
向下滾動到Build Environment部分,檢查Color ANSI Console Output。
在Build部分,單擊Add build step并選擇Execute shell。把下面的腳本粘貼進(jìn)去。
完成之后單擊Save。
給第一個代理創(chuàng)建另外四個工作則是單擊New Item,填寫新名稱并使用Copy from字段來從第一個構(gòu)建中復(fù)制。你可以在無需對第一個構(gòu)建作更改的情況下保存每個構(gòu)建。
接下來,為第二個Jenkins代理配置第一個作業(yè)。單擊New Item,給第二個代理的第一個作業(yè)選個名字,再一次從第一個代理中復(fù)制作業(yè)。這一次我們將在保存之前修改配置頁面上的字段。
首先,修改Label Expression字段匹配第二個代理的標(biāo)簽。
接著,用下面的腳本替換掉Build部分文本框中的腳本:
完成后單擊Save。
同樣按照剛剛我們的流程,為第二個代理創(chuàng)建另外四個構(gòu)建。
現(xiàn)在,轉(zhuǎn)回到主頁面,單擊每行最右邊的圖標(biāo),啟動全部剛剛創(chuàng)建的10個作業(yè)。在啟動之后,它們會按照Build Queue部分的指示排隊(duì)等待執(zhí)行:
大約幾秒鐘之后,會開始創(chuàng)建Pods來執(zhí)行構(gòu)建(你可以在Rancher的Workload選項(xiàng)卡中檢驗(yàn)這一點(diǎn))。Jenkins會為每個作業(yè)創(chuàng)建一個pod。在每個代理啟動時,它連接到master并從隊(duì)列中接收要執(zhí)行的作業(yè)。
代理完成了自己的工作后,它就會自動從集群中刪除:
要檢查作業(yè)的狀態(tài),可以單擊每個代理中的一項(xiàng)作業(yè)。從Build History中單擊構(gòu)建,然后點(diǎn)擊Console Output。由第一個代理執(zhí)行的作業(yè)應(yīng)該指定使用了jenkins-slave1 Docker鏡像,而由第二個代理執(zhí)行的構(gòu)建應(yīng)該指定使用了jenkins-slave2鏡像:
如果你得到了上面的輸出,那么Jenkins的配置就是正確的,而且是按照預(yù)期的方式在運(yùn)行的?,F(xiàn)在你就可以開始定制自己的Kubernetes的構(gòu)建系統(tǒng),幫助自己的團(tuán)隊(duì)測試和發(fā)布軟件啦。
我們配置了Jenkins來按需自動部署構(gòu)建代理,將其連接到了Rancher管理的Kubernetes集群。為此,我們完成了下面的步驟:
使用Rancher創(chuàng)建了一個集群
為Jenkins master和代理創(chuàng)建了自定義Docker鏡像
將Jenkins master和L4 LoadBalancer服務(wù)部署在Kubernetes集群上
在集群上配置了Jenkins kubernetes插件,自動生成動態(tài)代理
使用帶有專用代理鏡像的多個構(gòu)建作業(yè)測試場景
小編著重展現(xiàn)了設(shè)置Jenkins master和代理體系結(jié)構(gòu)的基本的必要配置。我們了解了Jenkins如何使用JNLP啟動代理,以及容器如何自動連接到Jenkins master來接受指令。為了實(shí)現(xiàn)這一點(diǎn),我們使用Rancher創(chuàng)建集群、部署工作負(fù)載并監(jiān)控產(chǎn)生的Pods。在這之后,我們又依靠Jenkins Kubernetes插件將所有不同的組件連接在了一起。
以上就是如何在Kubernetes上部署和伸縮Jenkins,小編相信有部分知識點(diǎn)可能是我們?nèi)粘9ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。