我們提供的服務(wù)有：網(wǎng)站制作、成都做網(wǎng)站、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認證、陵水黎族ssl等。為成百上千企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的陵水黎族網(wǎng)站制作公司
一、配置：
環(huán)境：
CentOS7?
VMware
筆者配置了四臺虛擬機：
K8S-Master節(jié)點: 3GB內(nèi)存? ?2核CPU ? 20GB硬盤空間
K8S-node1節(jié)點:? 2GB內(nèi)存? ?2核CPU ? 30GB硬盤空間
K8S-node2節(jié)點:? 2GB內(nèi)存? ?2核CPU ? 30GB硬盤空間
鏡像倉庫節(jié)點:? ? ? 2GB內(nèi)存? ?2核CPU ? 50GB硬盤空間
二、節(jié)點規(guī)劃：
使用三臺虛擬機搭建K8S集群，使用一臺虛擬機搭建鏡像倉庫。
每臺虛擬機配置兩塊網(wǎng)卡，其中一塊為“NAT模式”，用于拉取鏡像等功能。
另外一塊網(wǎng)卡為“僅主機模式”，用于集群節(jié)點間的通信。歸劃如下：
K8s-master節(jié)點:
僅主機模式：10.10.10.200
NAT模式： ?192.168.200.130
K8S-node1節(jié)點:
僅主機模式：10.10.10.201
NAT模式： ?192.168.200.131
K8S-node2節(jié)點:
僅主機模式：10.10.10.202
NAT模式： ?192.168.200.132
鏡像倉庫節(jié)點:
僅主機模式：10.10.10.101
NAT模式： ?192.168.200.150
三、版本信息
Linux內(nèi)核版本：
Linux version 3.10.0-862.el7.x86_64 (builder@kbuilder.dev.centos.org)
(gcc version 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC) )
#1 SMP Fri Apr 20 16:44:24 UTC 2018
K8s集群版本為1.15.0版本：
四、基于StatefulSet與PV/PVC的MySql持久化存儲實驗
1. 在每個節(jié)點安裝nfs服務(wù)
在“鏡像倉庫”節(jié)點，執(zhí)行以下命令：
yum install -y nfs-common nfs-utils rpcbind
在k8s集群，執(zhí)行以下命令：
yum install -y nfs-utils rpcbind
2. 在“鏡像倉庫”節(jié)點下，配置nfs服務(wù)器
mkdir /nfs_mysql
Chmod?777?/nfs_mysql/
(在測試環(huán)境中，為了不考慮用戶屬性，暫時賦予777權(quán)限，但在生產(chǎn)環(huán)境不推薦這樣做)
Chown?nfsnobody?/nfs_mysql/
echo “/nfs_mysql *(rw,no_root_squash,no_all_squash,sync)”? /etc/exports
cat /etc/exports
/nfs_mysql?*(rw,no_root_squash,no_all_squash,sync)
systemctl start rpcbind
systemctl start nfs
3. 測試nfs服務(wù)是否可用
mkdir /test
showmount -e 10.10.10.101
可見/nfs_mysql *已暴露于共享目錄，接下來測試掛載是否可用：
在master節(jié)點下執(zhí)行：
mount -t nfs 10.10.10.101:/nfs_mysql /test/
echo "hello-world"/test/1.txt
在鏡像倉庫節(jié)點下查看1.txt是否存在，若存在則掛載成功：
可見nfs服務(wù)可以正常使用，接下來刪除test目錄和1.txt
在鏡像倉庫下：
[root@hub nfs_mysql]# rm -f 1.txt
在Master節(jié)點下:
[root@k8s-master ~]# umount /test/
[root@k8s-master ~]# rm -rf /test/
同理,依照以上步驟同時創(chuàng)建：（提供多個mysql副本進行掛載）
nfs_mysql1
nfs_mysql2
完成后需要重啟nfs服務(wù)
systemctl restart rpcbind
systemctl restart nfs
最終效果：
4. 將nfs封裝成pv
創(chuàng)建mysql_test文件夾，將yaml文件統(tǒng)一保存在此目錄下
mkdir mysql_test
cd mysql_test
vim mysql-pv.yml
mysql-pv.yml配置如下：
apiVersion: v1
kind: PersistentVolume
metadata:
name: mysql-pv
spec:
capacity:
storage: 5Gi
accessModes:
- ?ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
storageClassName: nfs
nfs:
path: /nfs_mysql
server: 10.10.10.101
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: mysql-pv1
spec:
capacity:
storage: 5Gi
accessModes:
- ?ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
storageClassName: nfs
nfs:
path: /nfs_mysql1
server: 10.10.10.101
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: mysql-pv2
spec:
capacity:
storage: 5Gi
accessModes:
- ?ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
storageClassName: nfs
nfs:
path: /nfs_mysql2
server: 10.10.10.101
注意：
在k8s集群15版本中recycle回收策略已被刪除，只能用retain策略或者Delete策略。這里我們使用 persistentVolumeReclaimPolicy: Retain
執(zhí)行命令：
kubectl create -f mysql-pv.yml
kubectl get pv
如圖所示，即為Pv創(chuàng)建成功。
5. 部署MySQL，在mysql_test目錄下編寫mysql.yml，配置文件如下
apiVersion: v1
kind: Service
metadata:
name: mysql
labels:
app: mysql
spec:
ports:
- port: 3306
name: mysql
clusterIP: None
selector:
app: mysql
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: mysql
spec:
selector:
matchLabels:
app: mysql
serviceName: "mysql"
replicas: 3
template:
metadata:
labels:
app: mysql
spec:
containers:
- name: mysql
image: mysql:5.6
env:
- name: MYSQL_ROOT_PASSWORD
value: password
ports:
- containerPort: 3306
name: mysql
volumeMounts:
- name: mysql-persistent-storage
mountPath: /var/lib/mysql
volumeClaimTemplates:
- metadata:
name: mysql-persistent-storage
spec:
accessModes: ["ReadWriteOnce"]
storageClassName: "nfs"
resources:
requests:
storage: 1Gi ?
執(zhí)行以下命令，部署mysql服務(wù)：
kubectl create -f mysql.yml
如圖可知，mysql按StatefulSet依次創(chuàng)建了mysql-0 mysql-1 mysql-2
查看各個Pod部在哪個節(jié)點：
6. 通過創(chuàng)建臨時容器，使用MySQL客戶端發(fā)送測試請求給MySQL master節(jié)點
注意：
主機名為mysql-0.mysql；跨命名空間的話，主機名請使用mysql-0.mysql. [NAMESPACE_NAME].如果沒有指定命名空間，默認為default，即 mysql-0.mysql. default。
這里筆者打算關(guān)閉node2節(jié)點來模擬node2宕機，來測試是否實現(xiàn)數(shù)據(jù)的持久化存儲，
所以我們向node2上的mysql1寫入數(shù)據(jù)。
執(zhí)行以下命令，訪問mysql1：
kubectl run mysql-client --image=mysql:5.6 -it --rm --restart=Never -- mysql -h mysql-1.mysql.default -p?password
創(chuàng)建數(shù)據(jù)庫demo,并向messages表中寫入hello-world
CREATE DATABASE demo;?
CREATE TABLE demo.messages (message VARCHAR(250));?
INSERT INTO demo.messages VALUES ('hello-world');
如圖所示
接下來我們來關(guān)閉k8s-node2虛擬機，模擬宕機
查看nodes的運行狀態(tài)，可知node2的狀態(tài)已轉(zhuǎn)變?yōu)镹otReady
一段時間后，k8s將Pod MySql -1遷移到節(jié)點k8s-node1
由于時間過長，筆者把三個Pod都刪除重啟后，驗證數(shù)據(jù)：
MySQL服務(wù)恢復(fù)，數(shù)據(jù)完好無損！
雖然 kubernetes 社區(qū)一直在努力使得有狀態(tài)應(yīng)用成為一等公民，也推出了 statefulset 控制器支持 pod 的順序部署，穩(wěn)定的域名訪問和存儲訪問。但鑒于 MySQL 部署運維的多樣性和復(fù)雜性，在 kubernetes 上部署 MySQL 仍然要面臨眾多挑戰(zhàn)。
1、業(yè)務(wù)流量入口的配置方式
傳統(tǒng)虛擬機環(huán)境下，我們通過虛IP的方式，讓業(yè)務(wù)應(yīng)用都配置事先定義的一個虛IP為鏈接數(shù)據(jù)庫的地址，然后由高可用服務(wù)保證虛IP始終能被路由到master數(shù)據(jù)庫。在kubernetes中，出現(xiàn)了一層網(wǎng)絡(luò)插件屏蔽了底層網(wǎng)絡(luò)拓撲，高可用服務(wù)管理虛IP的方式需要隨之適應(yīng)調(diào)整，比如通過service結(jié)合標(biāo)簽完成虛IP的漂移，但service本身是kubernetes提供的一項功能，其可靠性和性能都取決于kubernetes服務(wù)的穩(wěn)定。以性能來說，service是kubeproxy組件通過配置iptables實現(xiàn)的，當(dāng)iptables規(guī)則較多時不可避免的會產(chǎn)生時延，需要我們針對性的解決。
2、容器隔離帶來的監(jiān)控視野問題
在 kubernetes 中，如果將 MySQL 制作為 container 運行在一個 pod 中，container 會將 MySQL 進程和運行環(huán)境隔離在一個單獨的 namespace 中。監(jiān)控組件在獲取 MySQL 的一些 metirc 時，可能不得不進入與 MySQL 同一個 namespace 中，在部署和設(shè)計監(jiān)控組件時需要考慮到這些限制。
3、存儲在 kubernetes 中，支持配置各種不同的存儲。
如果使用本地存儲 local persistent volume，則需要綁定 MySQL 在一個固定的節(jié)點，這就完全浪費了 kubernetes 靈活調(diào)度的天然優(yōu)勢；而如果使用遠程共享存儲，確實是將 MySQL 進程與其存儲完全解耦，使得 MySQL 進程可以在任意節(jié)點調(diào)度，然而考慮到高 I/O 吞吐量的情況，就不是那么美好了。設(shè)計時需要考量遠程存儲是否能夠滿足 MySQL 的帶寬要求。
4、高可用/備份恢復(fù)
kubernetes 提供的 statefulset 控制器只能提供最基本的部署，刪除功能，無法實現(xiàn)完善的 MySQL 集群高可用/備份恢復(fù)操作。對于有狀態(tài)應(yīng)用的部署，仍需要定制開發(fā)，所以多數(shù)公司提供了定制的 operator 來完成應(yīng)用容器的管理。比如 etcd operator，MySQL operator，后文將為大家詳述我測試使用 MySQL operator 的一些記錄。
mysql可以以docker的形式在集群內(nèi)部署，也可以安裝在集群之外，以服務(wù)的形式部署到集群內(nèi)。
(1)、如果是在集群內(nèi)部署，可以啟動一個ReplicationController，用以對mysql pod進行監(jiān)控，并同時啟動一個Service，用以集群訪問。
(2)、如果mysql是安裝在集群之外，那么可以啟動一個Endpoint和Service，將mysql引入集群之中。
下面分別對這兩種方式進行部署。
創(chuàng)建mysql-rc.yaml和mysql-svc.yaml,分別如下：
mysql-rc.yaml
mysql-svc.yaml
在mysql-rc.yaml中，image參數(shù)可以指定mysql的版本，如8.0.11、5.7.22等。這里省略了，表示用latest。另外，可以指定鏡像庫，這里使用阿里云鏡像庫，在安裝docker時進行了配置。env參數(shù)指定了mysql的root密碼。
在mysql-svc.yaml中，targetPort表示mysql pod中mysql窗口的目標(biāo)端口，默認為3306，type類型為NodePort，表示將映射到本地端口，本地端口為nodePort: 30306。
接下來啟動ReplicationController和Service，執(zhí)行以下命令：
啟動后可以查看mysql部署在了哪個node上，執(zhí)行以下命令可以查看：
(6)、退出mysql和容器，執(zhí)行quit;退出mysql，按ctrl+p后，再按ctrl+q從容器中返回node主機。
設(shè)置好mysql后，可以遠程連接node中的mysql，node的ip為127.0.0.1，映射的端口為30306，可以用navicat工具連接到這個myql。
重慶分公司
重慶分公司
