目前CentOS官方已經(jīng)把Kubernetes源放入到自己的默認(rèn) extras 倉(cāng)庫(kù)里面,使用 yum 安裝,好處是簡(jiǎn)單,壞處也很明顯,需要官方更新 yum 源才能獲得最新版本的軟件,而所有軟件的依賴又不能自己指定,尤其是你的操作系統(tǒng)版本如果低的話,使用 yum 源安裝的 Kubernetes 的版本也會(huì)受到限制,通常會(huì)低于官方很多版本,我安裝的時(shí)候目前官方版本為1.12
,而 yum 源中的版本為1.5.2
。
請(qǐng)查看博文:https://blog.51cto.com/wzlinux/2321767
創(chuàng)新互聯(lián)專注于湟源網(wǎng)站建設(shè)服務(wù)及定制,我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供湟源營(yíng)銷型網(wǎng)站建設(shè),湟源網(wǎng)站制作、湟源網(wǎng)頁(yè)設(shè)計(jì)、湟源網(wǎng)站官網(wǎng)定制、小程序制作服務(wù),打造湟源網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供湟源網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。
使用二進(jìn)制文件安裝,好處是可以安裝任意版本的 Kubernetes,對(duì)一些新版本新功能追求的同學(xué)比較合適,壞處是配置比較復(fù)雜,很多軟件包因?yàn)橐恍┰颍覀冊(cè)诖箨懯窃L問(wèn)不到的。
kubeadm 是 Kubernetes 官方提供的用于快速安裝 Kubernetes 集群的工具,伴隨Kubernetes每個(gè)版本的發(fā)布都會(huì)同步更新,kubeadm會(huì)對(duì)集群配置方面的一些實(shí)踐做調(diào)整,通過(guò)實(shí)驗(yàn) kubeadm 可以學(xué)習(xí)到 Kubernetes 官方在集群配置上一些新的最佳實(shí)踐。
請(qǐng)查看博文:https://blog.51cto.com/wzlinux/2322616
這里我們選用第二種方式安裝。
我們安裝的版本基本是目前最新的版本。
軟件 | 版本 |
---|---|
kubernetes | v1.12.2 |
CentOS 7.5 | CentOS Linux release 7.5.1804 |
Docker | v18.06 這是官方推薦的 |
etcd | 3.3.10 |
flannel | 0.10.0 |
IP | 角色 | 安裝軟件 |
---|---|---|
172.18.8.200 | k8s master | etcd,kube-apiserver,kube-controller-manager,kube-scheduler,kubelet |
172.18.8.201 | k8s node01 | docker,kubelet,kube-proxy,flannel |
172.18.8.202 | k8s node02 | docker,kubelet,kube-proxy,flannel |
節(jié)點(diǎn)及網(wǎng)絡(luò)規(guī)劃如下:
關(guān)閉防火墻。
systemctl stop firewalld
systemctl disable firewalld
配置/etc/hosts
,添加如下內(nèi)容。
172.18.8.200 master.wzlinux.com master
172.18.8.201 node01.wzlinux.com node01
172.18.8.202 node02.wzlinux.com node02
關(guān)閉SELinux。
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0
關(guān)閉swap。
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab
我們可以下載編譯好的二進(jìn)制文件,也可以下載源碼自己編譯,這里只討論二進(jìn)制的安裝方式。在Kubernetes的Github CHANGELOG日志中可以看到最新的版本號(hào),也可以到Tag
頁(yè)面中找到自己需要的版本,我下載的是 v1.12.2。
上傳我們下載的二進(jìn)制軟件包到各節(jié)點(diǎn),并解壓在root家目錄,查看目錄內(nèi)容。
[root@master ~]# ll kubernetes/server/bin/
total 1821524
-rwxr-xr-x 1 root root 60859975 Oct 24 15:49 apiextensions-apiserver
-rwxr-xr-x 1 root root 142923436 Oct 24 15:49 cloud-controller-manager
-rw-r--r-- 1 root root 8 Oct 24 15:44 cloud-controller-manager.docker_tag
-rw-r--r-- 1 root root 144309760 Oct 24 15:44 cloud-controller-manager.tar
-rwxr-xr-x 1 root root 248021112 Oct 24 15:49 hyperkube
-rwxr-xr-x 1 root root 54042644 Oct 24 15:49 kubeadm
-rwxr-xr-x 1 root root 192781649 Oct 24 15:49 kube-apiserver
-rw-r--r-- 1 root root 8 Oct 24 15:44 kube-apiserver.docker_tag
-rw-r--r-- 1 root root 194167808 Oct 24 15:44 kube-apiserver.tar
-rwxr-xr-x 1 root root 162961401 Oct 24 15:49 kube-controller-manager
-rw-r--r-- 1 root root 8 Oct 24 15:44 kube-controller-manager.docker_tag
-rw-r--r-- 1 root root 164347392 Oct 24 15:44 kube-controller-manager.tar
-rwxr-xr-x 1 root root 57352138 Oct 24 15:49 kubectl
-rwxr-xr-x 1 root root 176648680 Oct 24 15:49 kubelet
-rwxr-xr-x 1 root root 50330867 Oct 24 15:49 kube-proxy
-rw-r--r-- 1 root root 8 Oct 24 15:44 kube-proxy.docker_tag
-rw-r--r-- 1 root root 98355200 Oct 24 15:44 kube-proxy.tar
-rwxr-xr-x 1 root root 57184656 Oct 24 15:49 kube-scheduler
-rw-r--r-- 1 root root 8 Oct 24 15:44 kube-scheduler.docker_tag
-rw-r--r-- 1 root root 58570752 Oct 24 15:44 kube-scheduler.tar
-rwxr-xr-x 1 root root 2330265 Oct 24 15:49 mounter
這些包都是存儲(chǔ)在google的服務(wù)器上面,因?yàn)楸娝苤脑?,我們是無(wú)法訪問(wèn)的,所以需要各位科學(xué)上網(wǎng)才可以獲取,不過(guò)我可以把我獲取的包傳到網(wǎng)盤分享給大家。
大家可以去下載使用。鏈接: https://pan.baidu.com/s/1Ut9VERgm55B4lmz0wjjzFQ 提取碼: mjem
master節(jié)點(diǎn)需要安裝的服務(wù)有kube-apiserver
,kube-controller-manager
,kube-scheduler
,所以我們先把需要的二進(jìn)制文件放到環(huán)境變量。
cd /root/kubernetes/server/bin
cp kube-apiserver kube-controller-manager kube-scheduler kubectl /usr/local/bin/
創(chuàng)建需要的目錄。
mkdir -p /var/lib/etcd
mkdir -p /etc/etcd/
mkdir /etc/kubernetes
mkdir /etc/kubernetes/ssl
因?yàn)樗缘慕M件都是需要etcd存儲(chǔ),所以我們第一安裝的就是etcd,如果不是為了新版本,為了方便可以使用yum安裝。
我這里采用二進(jìn)制安裝方法,首先下載安裝包。
下載。
wget https://github.com/etcd-io/etcd/releases/download/v3.3.10/etcd-v3.3.10-linux-amd64.tar.gz
解壓安裝。
tar xf etcd-v3.3.10-linux-amd64.tar.gz
cd etcd-v3.3.10-linux-amd64
cp etcd etcdctl /usr/local/bin/
創(chuàng)建system啟動(dòng)文件etcd.service
。
cat < /usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
TimeoutStartSec=0
Restart=always
WorkingDirectory=/var/lib/etcd
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
創(chuàng)建配置文件。
cat </etc/etcd/etcd.conf
ETCD_NAME=ETCD Server
ETCD_DATA_DIR="/var/lib/etcd/"
ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.8.200:2379"
EOF
啟動(dòng)etcd。
systemctl daemon-reload
systemctl start etcd.service
systemctl enable etcd.service
查看啟動(dòng)狀態(tài)。
[root@master ~]# netstat -tlnp|grep etcd
tcp 0 0 127.0.0.1:2380 0.0.0.0:* LISTEN 1550/etcd
tcp6 0 0 :::2379 :::* LISTEN 1550/etcd
[root@master ~]# etcdctl cluster-health
member 8e9e05c52164694d is healthy: got healthy result from http://172.18.8.200:2379
cluster is healthy
說(shuō)明: etcd 會(huì)啟用兩個(gè)端口,其中2380 是集群的通信端口,2379是服務(wù)端口。如果是配置etcd集群,則要修改配置文件,設(shè)置監(jiān)聽I(yíng)P和端口。
創(chuàng)建啟動(dòng)文件/usr/lib/systemd/system/kube-apiserver.service
,修改為如下內(nèi)容:
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
After=etcd.service
[Service]
EnvironmentFile=/etc/kubernetes/apiserver
ExecStart=/usr/local/bin/kube-apiserver \
$KUBE_ETCD_SERVERS \
$KUBE_BIND_ADDRESS \
$KUBE_API_PORT \
$KUBE_SERVICE_ADDRESSES \
$KUBE_ADMISSION_CONTROL \
$KUBE_API_ARGS
Restart=on-failure
Type=notify
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
創(chuàng)建目錄和配置文件。
cat < /etc/kubernetes/apiserver
KUBE_BIND_ADDRESS="--bind-address=0.0.0.0"
KUBE_API_PORT="--secure-port=6443"
KUBE_ETCD_SERVERS="--etcd-servers=http://172.18.8.200:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.96.0.0/12"
KUBE_ADMISSION_CONTROL="--enable-admission-plugins=NamespaceLifecycle,LimitRanger,SecurityContextDeny,ServiceAccount,DefaultStorageClass,ResourceQuota"
KUBE_API_ARGS="--client-ca-file=/etc/kubernetes/ssl/ca.crt \
--tls-private-key-file=/etc/kubernetes/ssl/server.key --tls-cert-file=/etc/kubernetes/ssl/server.crt"
EOF
service-cluster-ip-range是servcies的虛擬IP的IP范圍,這里可以自己定義,不能當(dāng)前的宿主機(jī)網(wǎng)段重疊。
bind-addres 指定的apiserver監(jiān)聽地址,對(duì)應(yīng)的監(jiān)聽端口是6443,使用的https的方式。
client-ca-file 這是認(rèn)證的相關(guān)文件,這預(yù)先定義,后面會(huì)創(chuàng)建證書文件,并放置到對(duì)應(yīng)的路徑。
創(chuàng)建啟動(dòng)文件/usr/lib/systemd/system/kube-controller-manager.service
,添加如下內(nèi)容:
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=kube-apiserver.service
Requires=kube-apiserver.service
[Service]
EnvironmentFile=-/etc/kubernetes/controller-manager
ExecStart=/usr/local/bin/kube-controller-manager \
$KUBE_MASTER \
$KUBE_CONTROLLER_MANAGER_ARGS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
創(chuàng)建配置文件controller-manager
,IP根據(jù)自己的實(shí)際情況進(jìn)行修改。
cat < /etc/kubernetes/controller-manager
KUBE_MASTER="--master=https://172.18.8.200:6443"
KUBE_CONTROLLER_MANAGER_ARGS="--service-account-private-key-file=/etc/kubernetes/ssl/server.key \
--root-ca-file=/etc/kubernetes/ssl/ca.crt --kubeconfig=/etc/kubernetes/kubeconfig"
EOF
創(chuàng)建啟動(dòng)文件/usr/lib/systemd/system/kube-scheduler.service
,添加如下內(nèi)容:
[Unit]
Description=Kubernetes Scheduler Plugin
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=kube-apiserver.service
Requires=kube-apiserver.service
[Service]
EnvironmentFile=/etc/kubernetes/scheduler
ExecStart=/usr/local/bin/kube-scheduler \
$KUBE_MASTER \
$KUBE_SCHEDULER_ARGS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
創(chuàng)建配置文件/etc/kubernetes/scheduler
。
cat < /etc/kubernetes/scheduler
KUBE_MASTER="--master=https://172.18.8.200:6443"
KUBE_SCHEDULER_ARGS="--kubeconfig=/etc/kubernetes/kubeconfig"
EOF
創(chuàng)建/etc/kubernetes/kubeconfig
文件。
apiVersion: v1
kind: Config
users:
- name: controllermanager
user:
client-certificate: /etc/kubernetes/ssl/cs_client.crt
client-key: /etc/kubernetes/ssl/cs_client.key
clusters:
- name: kubernetes
cluster:
certificate-authority: /etc/kubernetes/ssl/ca.crt
contexts:
- context:
cluster: kubernetes
user: controllermanager
name: service-account-context
current-context: service-account-context
配置kube-apiserver
的CA證書和私鑰文件。
cd /etc/kubernetes/ssl/
openssl genrsa -out ca.key 2048
# CN指定Master的IP地址
openssl req -x509 -new -nodes -key ca.key -subj "/CN=172.18.8.200" -days 5000 -out ca.crt
openssl genrsa -out server.key 2048
創(chuàng)建master_ssl.cnf
文件,內(nèi)容如下:
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
subjectAltName = @alt_names
[alt_names]
DNS.1 = kubernetes
DNS.2 = kubernetes.default
DNS.3 = kubernetes.default.svc
DNS.4 = kubernetes.default.svc.cluster.local
DNS.5 = k8s_master
IP.1 = 10.96.0.1 # ClusterIP 地址
IP.2 = 172.18.8.200 # master IP地址
基于上述文件,創(chuàng)建server.csr和 server.crt文件,執(zhí)行如下命令。
# CN指定主機(jī)名
openssl req -new -key server.key -subj "/CN=master.wzlinux.com" -config master_ssl.cnf -out server.csr
openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -days 5000 -extensions v3_req -extfile master_ssl.cnf -out server.crt
設(shè)置kube-controller-manager相關(guān)證書。
cd /etc/kubernetes/ssl/
openssl genrsa -out cs_client.key 2048
# CN指定主機(jī)名
openssl req -new -key cs_client.key -subj "/CN=master.wzlinux.com" -out cs_client.csr
openssl x509 -req -in cs_client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out cs_client.crt -days 5000
確保/etc/kubernetes/ssl/ 目錄下有如下文件。
[root@master ssl]# ll
total 40
-rw-r--r-- 1 root root 1103 Nov 28 21:58 ca.crt
-rw-r--r-- 1 root root 1679 Nov 28 21:58 ca.key
-rw-r--r-- 1 root root 17 Nov 28 22:07 ca.srl
-rw-r--r-- 1 root root 993 Nov 28 22:07 cs_client.crt
-rw-r--r-- 1 root root 903 Nov 28 22:07 cs_client.csr
-rw-r--r-- 1 root root 1675 Nov 28 22:06 cs_client.key
-rw-r--r-- 1 root root 493 Nov 28 22:01 master_ssl.cnf
-rw-r--r-- 1 root root 1216 Nov 28 22:03 server.crt
-rw-r--r-- 1 root root 1139 Nov 28 22:03 server.csr
-rw-r--r-- 1 root root 1679 Nov 28 21:58 server.key
啟動(dòng)kube-apiserver
。
systemctl daemon-reload
systemctl enable kube-apiserver
systemctl start kube-apiserver
說(shuō)明:kube-apiserver 默認(rèn)會(huì)啟動(dòng)兩個(gè)端口(8080和6443),其中,8080是各個(gè)組件之間通信的端口,在新的版本中已經(jīng)很少使用,kube-apiserver所在的主機(jī)一般稱為Master, 另一個(gè)端口6443是為HTTPS提供身份驗(yàn)證和授權(quán)的端口。
啟動(dòng)kube-controller-manager
。
systemctl daemon-reload
systemctl enable kube-controller-manager
systemctl start kube-controller-manager
說(shuō)明:此服務(wù)會(huì)啟動(dòng)一個(gè)10252的端口。
啟動(dòng)kube-scheduler
。
systemctl daemon-reload
systemctl enable kube-scheduler
systemctl start kube-scheduler
說(shuō)明: 此服務(wù)會(huì)啟動(dòng)一個(gè)10251的端口
啟動(dòng)各項(xiàng)服務(wù)時(shí),分別查看對(duì)應(yīng)的日志和啟動(dòng)狀態(tài)信息,確認(rèn)服務(wù)沒(méi)有報(bào)錯(cuò)。
使用 kubectl 查看狀態(tài)。
[root@master ~]# kubectl get cs
NAME STATUS MESSAGE ERROR
etcd-0 Healthy {"health":"true"}
controller-manager Healthy ok
scheduler Healthy ok
node節(jié)點(diǎn)需要安裝的服務(wù)有docker
,kubelet
,kube-prox
,flannel
,所以我們先把需要的二進(jìn)制文件放到環(huán)境變量。
cd /root/kubernetes/server/bin/
cp kubelet kube-proxy /usr/local/bin/
加載ipvs
內(nèi)核,使node節(jié)點(diǎn)kube-proxy
支持ipvs
代理規(guī)則。
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
創(chuàng)建需要的目錄。
mkdir /var/lib/kubelet
mkdir /etc/kubernetes
mkdir /etc/kubernetes/ssl
配置轉(zhuǎn)發(fā)參數(shù)。
cat < /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
我們使用推薦的版本18.06,此時(shí)docker官方的最新版本為18.09,所以我們需要配置官方y(tǒng)um源。
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -P /etc/yum.repos.d/
查看需要安裝的版本。
yum list docker-ce.x86_64 --showduplicates |sort -r
yum install docker-ce-18.06.1.ce -y
配置加速器。
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://hdi5v8p1.mirror.aliyuncs.com"]
}
EOF
復(fù)制Master上的ca.crt,ca.key到node節(jié)點(diǎn)上的ssl目錄,執(zhí)行如下命令生成kubelet_client.crt和kubelet_client.csr文件
cd /etc/kubernetes/ssl/
openssl genrsa -out kubelet_client.key 2048
# CN指定Node節(jié)點(diǎn)的IP
openssl req -new -key kubelet_client.key -subj "/CN=172.18.8.201" -out kubelet_client.csr
openssl x509 -req -in kubelet_client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out kubelet_client.crt -days 5000
創(chuàng)建啟動(dòng)文件/usr/lib/systemd/system/kube-proxy.service
,添加如下內(nèi)容:
[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
[Service]
EnvironmentFile=/etc/kubernetes/proxy
ExecStart=/usr/local/bin/kube-proxy \
$KUBE_MASTER \
$KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
創(chuàng)建需要的配置文件,IP請(qǐng)根據(jù)自己的實(shí)際情況進(jìn)行修改。
cat < /etc/kubernetes/proxy
KUBE_MASTER="--master=http://172.18.8.200:8080"
KUBE_PROXY_ARGS="--kubeconfig=/etc/kubernetes/kubeconfig.yaml"
EOF
創(chuàng)建啟動(dòng)文件/usr/lib/systemd/system/kubelet.service
,新增如下內(nèi)容:
[Unit]
Description=Kubernetes Kubelet Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=docker.service
Requires=docker.service
[Service]
WorkingDirectory=/var/lib/kubelet
ExecStart=/usr/local/bin/kubelet --kubeconfig=/etc/kubernetes/kubeconfig.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.target
創(chuàng)建配置文件/etc/kubernetes/kubeconfig.yaml
,具體參數(shù)請(qǐng)根據(jù)自己的需求進(jìn)行修改,新增如下內(nèi)容:
apiVersion: v1
kind: Config
users:
- name: kubelet
user:
client-certificate: /etc/kubernetes/ssl/kubelet_client.crt
client-key: /etc/kubernetes/ssl/kubelet_client.key
clusters:
- name: kubernetes
cluster:
certificate-authority: /etc/kubernetes/ssl/ca.crt
server: https://172.18.8.200:6443
contexts:
- context:
cluster: kubernetes
user: kubelet
name: service-account-context
current-context: service-account-context
kubeconfig官方文檔請(qǐng)點(diǎn)擊查看。
啟動(dòng)kubelet
。
systemctl daemon-reload
systemctl start kubelet.service
systemctl enable kubelet.service
kubelet的配置文件是一個(gè)yaml格式文件,對(duì)master的指定需要在配置文件中說(shuō)明。默認(rèn)監(jiān)聽10248、10250、10255、4194端口。
在master查看節(jié)點(diǎn)。
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
node01.wzlinux.com Ready 5m7s v1.12.2
node02.wzlinux.com Ready 5m7s v1.12.2
啟動(dòng)kube-proxy
。
systemctl daemon-reload
systemctl start kube-proxy.service
systemctl enable kube-proxy.service
說(shuō)明:?jiǎn)?dòng)服務(wù)后默認(rèn)監(jiān)聽10249,10256.
我們之所以要單獨(dú)使用第三方的網(wǎng)絡(luò)插件來(lái)擴(kuò)展k8s,主要原因是在使用docker的環(huán)境中,在每個(gè)node節(jié)點(diǎn)的docker0默認(rèn)的網(wǎng)段都是172.17.0.0/16的網(wǎng)絡(luò)。如果要實(shí)現(xiàn)不同宿主node上pod(這里也可以理解為容器)互相通信,就不能使用默認(rèn)的docker0提供的網(wǎng)段,我們需要部署一個(gè)覆蓋網(wǎng)絡(luò),讓每個(gè)node節(jié)點(diǎn)的docker0網(wǎng)絡(luò)都處于不同的網(wǎng)段,這樣,通過(guò)添加一些路由轉(zhuǎn)發(fā)策略,就能讓集群中各個(gè)pod在同一個(gè)虛擬的網(wǎng)絡(luò)中實(shí)現(xiàn)通信。
從github官網(wǎng)下載最新版本。
wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz
tar xf flannel-v0.10.0-linux-amd64.tar.gz
cp flanneld /usr/local/bin/
cp mk-docker-opts.sh /usr/local/libexec/
創(chuàng)建啟動(dòng)文件/usr/lib/systemd/system/flanneld.service
,新增如下內(nèi)容:
[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service
[Service]
Type=notify
EnvironmentFile=/etc/sysconfig/flanneld
EnvironmentFile=-/etc/sysconfig/docker-network
ExecStart=/usr/local/bin/flanneld \
$FLANNEL_ETCD_ENDPOINTS \
$FLANNEL_ETCD_PREFIX \
$FLANNEL_OPTIONS
ExecStartPost=/usr/local/libexec/mk-docker-opts.sh -d /run/flannel/docker
Restart=on-failure
[Install]
WantedBy=multi-user.target
RequiredBy=docker.service
對(duì)上面的文件做一下解釋:
After=network.target
Before=docker.service
創(chuàng)建配置文件/etc/sysconfig/flanneld
,設(shè)置為如下內(nèi)容:
cat < /etc/sysconfig/flanneld
# Flanneld configuration options
# etcd url location. Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="-etcd-endpoints=http://172.18.8.200:2379"
# etcd config key. This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="-etcd-prefix=/atomic.io/network"
# Any additional options that you want to pass
FLANNEL_OPTIONS=""
EOF
在master節(jié)點(diǎn)上為 falnnel 創(chuàng)建分配pod的網(wǎng)絡(luò)。
[root@master ~]# etcdctl mk /atomic.io/network/config '{"Network": "10.244.0.0/16"}'
在各node節(jié)點(diǎn)上啟動(dòng) flannel。
systemctl daemon-reload
systemctl start flanneld.service
systemctl enable flanneld.service
檢查是否啟動(dòng)好。
ps -ef |grep flanneld
也可以使用自助安裝,官方建議的使用方法。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
編輯文件/usr/lib/systemd/system/docker.service
,修改為如下內(nèi)容,讓docker
使用flannel
網(wǎng)絡(luò)。
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service flannel.service
Wants=network-online.target
Requires=flanneld.service
[Service]
Type=notify
EnvironmentFile=-/run/flannel/docker
ExecStart=/usr/bin/dockerd $DOCKER_OPTS
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
我們最后啟動(dòng)docker服務(wù)。
systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service
我們可以看到docker0已經(jīng)連接到flannel0,并且添加10.244.71.0/24
的路由。
[root@node01 ~]# ip r
default via 172.18.8.1 dev ens33 proto static metric 100
10.244.0.0/16 dev flannel0 proto kernel scope link src 10.244.71.0
10.244.71.0/24 dev docker0 proto kernel scope link src 10.244.71.1
172.18.0.0/16 dev ens33 proto kernel scope link src 172.18.8.201 metric 100
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
node01.wzlinux.com Ready 5m38s v1.12.2
node02.wzlinux.com Ready 5m34s v1.12.2
先運(yùn)行幾個(gè)pod看一下。
kubectl run nginx --image=nginx --replicas=3
查看一下pod狀態(tài),發(fā)現(xiàn)容器的狀態(tài)為ContainerCreating
,使用kubectl describe pod POD_NAME
發(fā)現(xiàn)在請(qǐng)求k8s.gcr.io/pause:3.1
pod鏡像模板。
因?yàn)槲覀冞€沒(méi)有pod基礎(chǔ)設(shè)施鏡像k8s.gcr.io/pause:3.1
,就是所有pod的模板,我們需要從gcr.io下載,但是這個(gè)地址我們國(guó)內(nèi)是無(wú)法訪問(wèn)的,我們可以使用間接的方法,在所有的node
節(jié)點(diǎn)上,我們可以從阿里云的鏡像下載,然后再tag
成我們需要的鏡像。
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1
docker image rm registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
問(wèn)題解決之后我們?cè)俅尾榭础?/p>
[root@master ~]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE
nginx-dbddb74b8-gzd6j 1/1 Running 0 2m11s 10.244.50.3 node02.wzlinux.com
nginx-dbddb74b8-hmmll 1/1 Running 0 2m11s 10.244.50.2 node02.wzlinux.com
nginx-dbddb74b8-lpkln 1/1 Running 0 2m11s 10.244.71.2 node01.wzlinux.com
當(dāng)前的網(wǎng)絡(luò)結(jié)構(gòu)圖如下所示:
我們可以創(chuàng)建一個(gè)service,查看其分配的IP。
[root@master ~]# kubectl expose deploy nginx --port=8888 --target-port=80
[root@master ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 443/TCP 51m
nginx ClusterIP 10.98.190.189 8888/TCP 7s
至此,使用二進(jìn)制程序搭建的過(guò)程我們已經(jīng)介紹完了。