這篇文章給大家介紹k8s+docker如何部署jenkins+gitlab實現(xiàn)CICD，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。
創(chuàng)新互聯(lián)建站秉承實現(xiàn)全網價值營銷的理念，以專業(yè)定制企業(yè)官網，成都網站制作、成都網站建設，重慶小程序開發(fā)公司，網頁設計制作，移動網站建設，成都全網營銷幫助傳統(tǒng)企業(yè)實現(xiàn)“互聯(lián)網+”轉型升級專業(yè)定制企業(yè)官網,公司注重人才、技術和管理，匯聚了一批優(yōu)秀的互聯(lián)網技術人才,對客戶都以感恩的心態(tài)奉獻自己的專業(yè)和所長。
CICD是持續(xù)集成（continuous integration，CI），持續(xù)交付（continuous delivery，CD），持續(xù)部署（continuous Deployment，CD）的簡稱。
指在開發(fā)過程中自動執(zhí)行一系列腳本來減低開發(fā)引入bug的概率，在新代碼從開發(fā)到部署的過程中，盡量減少人工的介入。
1，持續(xù)集成
持續(xù)集成指的是，頻繁地（一天多次）將代碼集成到主干。
它的好處有兩個：
1）快速發(fā)現(xiàn)錯誤：每完成一點更新，就集成到主干，可以快速發(fā)現(xiàn)錯誤，定位錯誤也比較容易。
2）防止分支大幅偏離主干：如果不是經常集成，主干又在不斷更新，會導致以后集成的難度變大，甚至難以集成。
持續(xù)集成的目的：
讓產品可以快速迭代同時還能保持高質量，它的核心措施是：代碼集成到主干之前，必須通過自動化測試，只要有一個測試用例失敗，就不能集成。
Martin Fowler說過，"持續(xù)集成并不能消除Bug，而是讓它們非常容易發(fā)現(xiàn)和改正。"
2， 持續(xù)交付
持續(xù)交付指的是頻繁的將軟件的新版本交付給質量團隊或用戶，以供評審，如果評審通過，代碼就進入生產階段。
持續(xù)交付可以看作是持續(xù)集成的下一步，強調的是，不管怎樣更新，軟件是隨時隨地可以交付的。
3，持續(xù)部署
持續(xù)部署是持續(xù)交付的下一步，指的是代碼通過評審之后，自動部署到生產環(huán)境。
持續(xù)部署的目標是：代碼在任何時候都是可以部署的，可以進入生產階段。
持續(xù)部署的前提是能自動化完成測試，構建，部署等步驟。
持續(xù)部署與持續(xù)交付的區(qū)別，可以參考下圖：
jenkins是一個比較流行的持續(xù)集成工具。
GitLab是存儲鏡像的鏡像倉庫。
流程詳解：
由客戶端將代碼push推送到git倉庫，gitlab上配置了一個webHook的東西可以觸發(fā)Jenkins的構建。進入到Jenkins虛線范圍內，它所做的事情非常多，從mvn構建代碼，對代碼進行靜態(tài)分析，做單元測試，測試通過之后就可以build鏡像，鏡像構建成功后就把鏡像push推送到Harbor鏡像倉庫中，鏡像push推送到鏡像倉庫后，我們就可以調用kubernetes集群的restAPI更新服務，而后kubernetes接收到了更新的指令，從Harbor鏡像倉庫pull拉取鏡像，從而完成服務的更新與重啟，最后我們從客戶端來訪問kubernetes集群的服務。
項目環(huán)境：
| 主機 | 操作系統(tǒng) | ip地址 |
|---|---|---|
| k8s01（master） | Centos 7.3 | 172.16.1.30 |
| k8s02（node01) | Centos 7.3 | 172.16.1.31 |
| k8s03 (node02) | Centos 7.3 | 172.16.1.32 |
| jenkins+gitlab+docker | Centos 7.3 | 172.16.1.33 |
本文所用到的安裝包和插件我已上傳至百度網盤：鏈接：https://pan.baidu.com/s/17mDLgSZ218a-zYhjYddhiA
提取碼：nyxh
部署kubernetes集群可參考博文kubeadm部署kubernetes集群
#確保k8s集群正常運行： [root@master ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION master Ready master 112d v1.15.0 node01 Ready112d v1.15.0 node02 Ready 112d v1.15.0
可以選擇任意一臺服務器，這里選擇master作為harboar私有倉庫。詳細配置可參考博文kubernetes部署Harbor私有倉庫
[root@master ~]# yum -y install yum-utils device-mapper-persistent-data lvm2 [root@master ~]# curl -L https://github.com/docker/compose/releases/download/1.25.0-rc4/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose [root@master ~]# chmod +x /usr/local/bin/docker-compose [root@master harbor]# wget https://storage.googleapis.com/harbor-releases/release-1.7.0/harbor-offline-installer-v1.7.4.tgz [root@master harbor]# tar xf harbor-offline-installer-v1.7.4.tgz [root@master harbor]# cd harbor/ [root@master harbor]# vim harbor.cfg
[root@master harbor]# ./install.sh #執(zhí)行安裝腳本 [Step 4]: starting Harbor ... Creating network "harbor_harbor" with the default driver Creating harbor-log ... done Creating redis ... done Creating registryctl ... done Creating harbor-adminserver ... done Creating harbor-db ... done Creating registry ... done Creating harbor-core ... done Creating harbor-portal ... done Creating harbor-jobservice ... done Creating nginx ... done ? ----Harbor has been installed and started successfully.---- Now you should be able to visit the admin portal at http://172.16.1.30. For more details, please visit https://github.com/goharbor/harbor .
#登錄web 界面新建倉庫，URL：http://172.16.1.30
默認用戶名：admin 密碼：Harbor12345
#修改docker配置文件（且重啟docker）并登錄harbor：（集群中的三個節(jié)點做相同操作）[root@master harbor]# vim /usr/lib/systemd/system/docker.service
[root@master harbor]# systemctl daemon-reload [root@master harbor]# systemctl restart docker [root@master harbor]# docker login -uadmin -pHarbor12345 172.16.1.30:80 WARNING! Using --password via the CLI is insecure. Use --password-stdin. WARNING! Your password will be stored unencrypted in /root/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded #node01和node02操作同上（都需登錄harbor）
#在harbor服務器（master）上，將鏡像上傳到私有倉庫：
[root@master harbor]# docker pull nginx:latest [root@master harbor]# docker tag nginx:latest 172.16.1.30:80/cicd/nginx:v1.0 [root@master harbor]# docker push 172.16.1.30:80/cicd/nginx:v1.0 The push refers to repository [172.16.1.30:80/cicd/nginx] 12fdf55172df: Pushed 002a63507c1c: Pushed 1c95c77433e8: Pushed v1.0: digest: sha256:099019968725f0fc12c4b69b289a347ae74cc56da0f0ef56e8eb8e0134fc7911 size: 948
#創(chuàng)建認證登錄密鑰，以保證kubernetes能夠拉取harbor倉庫中的私有鏡像：
[root@master harbor]# kubectl create secret docker-registry login --docker-server=172.16.1.30:80 --docker-username=admin --docker-password=Harbor12345 secret/login created [root@master harbor]# kubectl get secrets NAME TYPE DATA AGE default-token-wswg2 kubernetes.io/service-account-token 3 113d login kubernetes.io/dockerconfigjson 1 33s
#選擇集群中的某個節(jié)點測試是否能夠從Harbor私有倉庫中拉取鏡像：
[root@node01 ~]# docker pull 172.16.1.30:80/cicd/nginx:v1.0 v1.0: Pulling from cicd/nginx 1ab2bdfe9778: Pull complete a17e64cfe253: Pull complete e1288088c7a8: Pull complete 7ee7d3fe92e1: Pull complete Digest: sha256:763562fbc544806c1305304da23d36d0532f082325a1c427996474e304313801 Status: Downloaded newer image for 172.16.1.30:80/cicd/nginx:v1.0 [root@node01 ~]# docker images | grep "172.16.1.30" 172.16.1.30:80/cicd/nginx v1.0 c6ad7233ab97 10 minutes ago 126MB
ok，證明kubernetes和Harbor私有倉庫部署完畢。接下來部署jenkins+gitlab，并配置聯(lián)動。
#在最后一臺主機172.16.1.33上進行操作。
1），基本環(huán)境準備
#關閉防火墻：
[root@docker-cicd ~]# systemctl stop firewalld [root@docker-cicd ~]# systemctl status firewalld ● firewalld.service - firewalld - dynamic firewall daemon Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled) Active: inactive (dead) Docs: man:firewalld(1)
#禁用selinux：
[root@docker-cicd ~]# vim /etc/sysconfig/selinux
2）部署jenkins服務
[root@docker-cicd ~]# mkdir CICD [root@docker-cicd ~]# cd CICD/ [root@docker-cicd CICD]# tar zxf jdk-8u131-linux-x64.tar.gz [root@docker-cicd CICD]# mv jdk1.8.0_131/ /usr/java #設置全局變量： [root@docker-cicd CICD]# vim /etc/profile 在最后添加以下配置項： export JAVA_HOME=/usr/java export JRE_HOME=/usr/java/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
[root@docker-cicd CICD]# source /etc/profile #使其環(huán)境變量生效 [root@docker-cicd CICD]# java -version #驗證java環(huán)境 java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
#安裝tomcat [root@docker-cicd CICD]# tar zxf apache-tomcat-7.0.54.ta [root@docker-cicd CICD]# mv apache-tomcat-7.0.54 /usr/tomcat7 [root@docker-cicd CICD]# cd /usr/tomcat7/webapps/ [root@docker-cicd webapps]# ls docs examples host-manager manager ROOT [root@docker-cicd webapps]# rm -rf * #刪除tomcat網頁目錄原有文件 #將jenkins war包上傳至tomcat的網頁根目錄下 [root@docker-cicd webapps]# ls jenkins.war
#修改tomcat的字符集： [root@docker-cicd webapps]# vim /usr/tomcat7/conf/server.xml
#在tomcat中定義jenkins的家目錄（/data/jenkins） [root@docker-cicd webapps]# vim /usr/tomcat7/bin/catalina.sh export CATALINA_OPTS="-DJENKINS_HOME=/data/jenkins" export JENKINS_JAVA_OPTIONS="-Djava.awt.headless=true -Dhudson.ClassicPluginStrategy.noBytecodeTransformer=true"
#啟動tomcat（即啟動jenkins）
[root@docker-cicd webapps]# /usr/tomcat7/bin/catalina.sh start Using CATALINA_BASE: /usr/tomcat7 Using CATALINA_HOME: /usr/tomcat7 Using CATALINA_TMPDIR: /usr/tomcat7/temp Using JRE_HOME: /usr/java/jre Using CLASSPATH: /usr/tomcat7/bin/bootstrap.jar:/usr/tomcat7/bin/tomcat-juli.jar Tomcat started.
重慶分公司
重慶分公司
[root@docker-cicd webapps]# ss -anput | grep 8080
tcp LISTEN 0 100 :::8080 :::* users:(("java",pid=41682,fd=46))#瀏覽器登錄jenkins web界面，在web界面中配置安裝jenkins
URL:http://172.16.1.33:8080/jenkins
[root@docker-cicd webapps]# cat /data/jenkins/secrets/initialAdminPassword 36ceb6eeb1bc46af8ce20935b81d8fe8
將管理員密碼粘貼上后，點擊“繼續(xù)”。
#左邊是自動安裝，右邊是自定義安裝，我們選擇安裝推薦的插件。
選擇離線安裝，斷掉網絡失敗后，點擊繼續(xù)。
登錄界面如下：
#安裝必要插件
1）首先安裝中文插件：系統(tǒng)管理----->插件管理----->avalilable(可選)然后搜索localization-zh-cn
安裝成功后，重新啟動jenkins，可以發(fā)現(xiàn)界面已經支持中文了：
#還需安裝3個插件，搜索gitlab安裝：Gitlab Authentication、GitLab、Gitlab Hook
安裝過程可能較慢，耐心等待，
插件下載成功后，勾選重啟jenkins選項即可：
如果網絡問題導致無法下載成功，還可以在服務器目錄下進行上傳插件：/var/lib/jenkins/plugins這個目錄是存放所有安裝的插件。（插件已上傳至網盤）
3）部署gitlab服務
[root@docker-cicd CICD]# rpm -ivh gitlab-ce-11.9.8-ce.0.el6.x86_64.rpm warning: gitlab-ce-11.9.8-ce.0.el6.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID f27eab47: NOKEY Preparing... ################################# [100%] Updating / installing... 1:gitlab-ce-11.9.8-ce.0.el6 ################################# [100%]
#為了解決端口沖突，修改gitlab配置文件：
[root@docker-cicd CICD]# vim /etc/gitlab/gitlab.rb
因沒有部署DNS，所以url修改為本機ip，80默認是http服務的端口，unicorn[‘port’]默認是8080，同樣與上邊的jenkins8080端口沖突，所以分別修改為81和8081。
#初始化并啟動gitlab： [root@docker-cicd CICD]# gitlab-ctl reconfigure
#確定81端口正常監(jiān)聽： [root@docker-cicd CICD]# netstat -anput | grep -w 81 tcp 0 0 0.0.0.0:81 0.0.0.0:* LISTEN 47382/nginx: master
#瀏覽器登錄gitlab，并在web界面中進行配置
URL：http://172.16.1.33:81/
登錄gitlab后需要先設置一個密碼再登錄，這里設置1234.com（需要符合密碼復雜性要求，最少8位），用戶默認為root。
#配置ssh密鑰認證：
部署jenkins和gitlab這兩個服務的聯(lián)動，需要經過ssh驗證。
首先在gitlab上綁定jenkins服務器的ssh公鑰（因為是部署在同一臺服務器上，所以綁定自己的公鑰）
[root@docker-cicd ~]# ssh-keygen -t rsa [root@docker-cicd ~]# cat /root/.ssh/id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDW7s9qm08DaiShtnjBbUUwOpFYmvYaqUuqrIrXHrvcGGQDlte6Ug0R7/K5Igz4HKsjZIFCCblzgH2VLIk6FM0L+eccKnW8/uSywQcKclgK3gqiTRBDiqSt4NqYQz1R8hEW3KbXkXXUIU8kJ3svehxzG0Y8lUrMy7zEhkJ6vod7z5wcJeayzVfkro6Xd4TMiRrasXilApRiIr1Sr9Z9dWgWQkCCM85pQeZZirsZ/w4fT6gwRpP1kTtRBggDnXGi7lfWkMbKYljKMuG4jp92K8mRBLyjsg6Lkq0hkKAOToftwmpCx8CA/05LhMexvDnJXyFg/o+8yG+o0qmrlSvojl+N root@docker-cicd
復制這個公鑰，然后登陸gitlab，點擊右上角的設置：
#在gitlab上創(chuàng)建一個代碼倉庫：
輸入一個倉庫的名字 權限選擇公共的（public）然后直接點擊創(chuàng)建：
點擊新建一個new.file：
創(chuàng)建完成后，在本地測試是否能夠拉取倉庫中的文件：
[root@docker-cicd ~]# git clone git@172.16.1.33:root/my-test-project.git
[root@docker-cicd ~]# cd my-test-project/ [root@docker-cicd my-test-project]# ls index.html [root@docker-cicd my-test-project]# cat index.html print: "hello world!!"
4）配置jenkins和gitlab聯(lián)動
該URL鏈接：
#執(zhí)行構建操作：
#!/bin/bash #定義變量（存放數據的目錄） backupcode="/data/backcode/$JOB_NAME/$BUILD_NUMBER" #創(chuàng)建該目錄 mkdir -p $backupcode #對jenkins家目錄（/data/jenkins）下的workspace/設置所需擁有的權限 chmod 644 "$JENKINS_HOME"/workspace/"$JOB_NAME"/* #使用rsync工具拷貝并同步數據 rsync -acP "$JENKINS_HOME"/workspace/"$JOB_NAME"/* $backupcode #以下操作是編寫一個Dockerfile文件(將修改的內容拷貝到新鏡像中) echo FROM 172.16.1.30:80/cicd/nginx:v1.0 > "$JENKINS_HOME"/workspace/Dockerfile #源鏡像就使用私有倉庫中鏡像 echo COPY ./"$JOB_NAME"/* /usr/share/nginx/html/ >> "$JENKINS_HOME"/workspace/Dockerfile #刪除舊版本的鏡像（因為存在會持續(xù)不斷的進行構建） docker rmi 172.16.1.30:80/cicd/nginx:v2.0 #使用docker build 通過該dockerfile構建新版本鏡像 docker build -t 172.16.1.30:80/cicd/nginx:v2.0 /"$JENKINS_HOME"/workspace/. #將新生成的新鏡像push到私有倉庫上 docker push 172.16.1.30:80/cicd/nginx:v2.0 #刪除之前版本的deployment資源（nginx應用） ssh root@172.16.1.30 kubectl delete deployment nginx #重新創(chuàng)建nginx應用（這次從倉庫中拉取的鏡像是新生成的鏡像） ssh root@172.16.1.30 kubectl apply -f /root/yaml/nginx.yaml 注意：/root/yaml/nginx.yaml此路徑是自定義的，后邊需要在該目錄下創(chuàng)建nginx的YAML文件（路徑保持一致，否則會導致構建失?。?/pre>這里面寫的是jenkins構建時會執(zhí)行的shell腳本，這個腳本才是實現(xiàn)持續(xù)集成核心，它實現(xiàn)了下端kubernetes自動更新容器的操作。
注意：腳本中所定義的內容，得根據你們自己當前的環(huán)境進行定義（比如主機地址，私有倉庫鏡像和存放文件路徑都是不同的），腳本編寫較易，可根據自己的需求進行修改。
#編寫完腳本后不要保存，下面的這個插件很重要，就是他實現(xiàn)自動化更新的webhook插件，首先復制下圖的jenkins URL地址，然后去gitlab上綁定webhook：
復制url后點擊保存：##登錄github進行操作
點擊添加后，可以看到有報錯提示：gitlab默認設置不允許向自己發(fā)送webhook（因為我們是部署在一臺服務器上），如下圖所示：##修改全局配置，勾選允許發(fā)送本地請求：
#修改成功后，重新添加web hook：
#添加完成后，會出現(xiàn)一個版塊，測試連接：
證明jenkins與gitlab聯(lián)動成功。
#如果添加webhook出現(xiàn)以下報錯信息，則需要在jenkins上的“全局安全配置” 中開啟匿名訪問權限，然后重新添加。報錯信息如下圖：
5）配置jenkins免密登錄kubernetes集群
配置免密登錄的目的是為了在構建時，能夠去執(zhí)行master中的YAML文件。#將jenkins主機上的密鑰對拷貝給master節(jié)點，以實現(xiàn)能夠免密登錄集群中的master： [root@docker-cicd ~]# ssh-copy-id root@172.16.1.30到此，集成環(huán)境部署完畢，接下來進行測試。
5，測試部署環(huán)境
在gitlab上新建代碼，刪除代碼，修改代碼，都會觸發(fā)webhook進行自動部署。最終會作用在所有的nginx容器中，也就是我們的web服務器。
#首先將jenkins和gitlab這臺主機登錄harbor私有倉庫：
1）安裝docker：[root@docker-cicd ~]# cd /etc/yum.repos.d/ [root@docker-cicd yum.repos.d]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo [root@docker-cicd yum.repos.d]# yum repolist #查看可用的repo源 [root@docker-cicd yum.repos.d]# yum -y install docker-ce [root@docker-cicd yum.repos.d]# systemctl start docker [root@docker-cicd yum.repos.d]# systemctl enable docker [root@docker-cicd yum.repos.d]# docker -v Docker version 19.03.6, build 369ce74a3c2）修改docker配置文件：
[root@docker-cicd yum.repos.d]# vim /usr/lib/systemd/system/docker.service#重新加載docker服務： [root@docker-cicd yum.repos.d]# systemctl daemon-reload [root@docker-cicd yum.repos.d]# systemctl restart docker3）登錄harbor倉庫：
[root@docker-cicd ~]# docker login -uadmin -pHarbor12345 172.16.1.30:80 WARNING! Using --password via the CLI is insecure. Use --password-stdin. WARNING! Your password will be stored unencrypted in /root/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded4）在master上創(chuàng)建在shell腳本中定義的nginx應用的YAML文件（部署web服務）：
[root@master ~]# mkdir yaml [root@master ~]# cd yaml/ [root@master yaml]# vim nginx.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 2 #定義兩個副本 template: metadata: labels: web: nginx spec: containers: - name: nginx image: 172.16.1.30:80/cicd/nginx:v2.0 #鏡像指定私有倉庫中的鏡像（注意：版本為在jenkins上新構建的版本） imagePullPolicy: Always #定義鏡像策略（每次創(chuàng)建pod時，總是從倉庫中重新拉取鏡像） ports: - containerPort: 80 imagePullSecrets: #添加imagePullSecrets字段，指定剛才創(chuàng)建的登錄密鑰（login） - name: login --- apiVersion: v1 #創(chuàng)建service資源（映射web端口為31234） kind: Service metadata: name: nginx-svc spec: type: NodePort ports: - port: 80 targetPort: 80 nodePort: 31234 selector: web: nginx#在gitlab上修改或新建代碼（例如修改之前創(chuàng)建的index.html文件）
#點擊提交后，會觸發(fā)webhook，進行構建：控制臺輸出信息中會顯示構建過程中的詳細信息，如果在構建的過程中那個環(huán)節(jié)出現(xiàn)了問題，也能在信息中準確的查看到，如下圖所示：
#瀏覽器訪問web服務（nginx)，URL：http://172.16.1.30:31234#在gitlab上重新修改代碼：
//修改內容:hello world, This is two build
再次觸發(fā)webhook，重新構建：#重新通過瀏覽器訪問nginx服務：
#第三次在gitlab上修改代碼：
//修改代碼為：hello world, This is three build
#重新通過瀏覽器訪問nginx：
#在服務器本地查看上面構建的項目和文件：[root@docker-cicd ~]# cd /data/ [root@docker-cicd data]# ls backcode jenkins #backcode為我們創(chuàng)建的存放構建項目的目錄，一個為jenkins的家目錄 [root@docker-cicd data]# cd backcode/test/ [root@docker-cicd test]# ls #在當前目錄下存放了所構建的項目 10 11 12 3 4 5 6 7 8 9 [root@docker-cicd test]# cat 12/index.html #而目錄中的內容正是我們所構建的代碼hello world, This is three build
[root@docker-cicd test]# cd ../../jenkins/workspace/ [root@docker-cicd workspace]# ls Dockerfile test [root@docker-cicd workspace]# cat test/index.htmlhello world, This is three build
#在jenkins家目錄下存放了Dcokerfile文件和最新構建的代碼至此，CICD項目部署完畢，Kubernetes中的web應用，會通過jenkins+gitlab的自動構建，無需人工的介入，自動部署并更新web界面，減少了在生產中出現(xiàn)的bug的概率，等待時間及更高的產品質量。
關于k8s+docker如何部署jenkins+gitlab實現(xiàn)CICD就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
網站欄目：k8s+docker如何部署jenkins+gitlab實現(xiàn)CICD
本文來源：http://weahome.cn/article/pdppec.html
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
.jpg)
