這篇文章主要講解了“Kilo的使用教程”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Kilo的使用教程”吧！
創(chuàng)新互聯(lián)堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站建設(shè) 、成都網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的邵原網(wǎng)站設(shè)計(jì) 、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！
寫了這么多篇 WireGuard 相關(guān)的保姆教程，今天終于牽扯到 Kubernetes 了，不然怎么對(duì)得起“云原生”這三個(gè)字。如果看到這篇文章的你仍然是個(gè) WireGuard 新手，請(qǐng)務(wù)必按照以下順序閱讀每一篇文章：
WireGuard 教程：WireGuard 的工作原理
WireGuard 快速安裝教程
WireGuard 配置教程：使用 wg-gen-web 來管理 WireGuard 的配置
Wireguard 全互聯(lián)模式（full mesh）配置指南
如果遇到不明白的，可以參考這篇文章的注解：
剩下這幾篇文章是可選的，有興趣就看看：
WireGuard 在云原生領(lǐng)域的應(yīng)用有兩個(gè)方面：組網(wǎng) 和加密 。不管是組網(wǎng)還是加密，其實(shí)都是和 CNI 有關(guān)，你可以在原有的組網(wǎng)方案上利用 WireGuard 進(jìn)行加密，也可以直接利用 WireGuard 來進(jìn)行組網(wǎng)。目前直接利用 WireGuard 進(jìn)行組網(wǎng)的 CNI 有 Flannel、Wormhole 和 Kilo，只利用 WireGuard 進(jìn)行數(shù)據(jù)加密的 CNI 只有 Calico，當(dāng)然 Flannel 也可以和 Kilo 結(jié)合使用，這樣就只利用 WireGuard 來進(jìn)行加密了。
我的興趣點(diǎn)還是在于利用 WireGuard 組網(wǎng)，想象一下，你在 AWS、Azure、GCP 和阿里云上分別薅了一臺(tái)云主機(jī) ，你想將這四臺(tái)云主機(jī)組建成一個(gè) k3s 集群，而且在任何一個(gè)設(shè)備上都能直接訪問這個(gè) k3s 集群中的 Pod IP 和 Service IP，如何才能優(yōu)雅地實(shí)現(xiàn)這個(gè)目標(biāo)？
要分兩步走：第一步是打通 k3s 集群各個(gè)節(jié)點(diǎn)之間的容器網(wǎng)絡(luò)，最后一步是打通本地與云上容器之間的網(wǎng)絡(luò)。先來看第一步，跨云打通容器網(wǎng)絡(luò)，這一步主要還是得仰仗 CNI。Flannel 的自定義選項(xiàng)比較少，Whormhole 已經(jīng)很久沒更新了，推薦使用 Kilo 來作為 k3s 的 CNI。
在部署 Kilo 之前，需要調(diào)整 k3s 的啟動(dòng)參數(shù)，取消默認(rèn)的 CNI：
k3s server --flannel-backend none ... 然后重啟 k3s server：
$ systemctl restart k3s 具體可以參考 k3s 控制平面的部署。如果你是從零開始部署 k3s，請(qǐng)參考跨云廠商部署 k3s 集群。
1. Kilo 網(wǎng)絡(luò)拓?fù)?/h3> Kilo 支持以下三種網(wǎng)絡(luò)拓?fù)洌?/p>
邏輯分組互聯(lián)模式（Logical Groups） 默認(rèn)情況下，Kilo 會(huì)在集群中的不同邏輯區(qū)域（例如數(shù)據(jù)中心、云服務(wù)商等）之間創(chuàng)建一個(gè) mesh 網(wǎng)絡(luò)。Kilo 默認(rèn)會(huì)嘗試使用節(jié)點(diǎn)標(biāo)簽 topology.kubernetes.io/region 來判斷節(jié)點(diǎn)所在的邏輯區(qū)域，你也可以通過 Kilo 的啟動(dòng)參數(shù) --topology-label= 來指定邏輯區(qū)域的標(biāo)簽，還可以為 node 添加 annotation kilo.squat.ai/location 來指定邏輯區(qū)域的標(biāo)簽。
例如，為了將 GCP 和 AWS 的節(jié)點(diǎn)加入到同一個(gè) k3s 集群中，可以通過以下命令對(duì)所有 GCP 的節(jié)點(diǎn)添加注釋：
$ for node in $(kubectl get nodes | grep -i gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="gcp"; done 這樣所有添加了注釋的節(jié)點(diǎn)都會(huì)被劃分到同一個(gè)邏輯區(qū)域下，沒有添加注釋的節(jié)點(diǎn)會(huì)被劃分到默認(rèn)的邏輯區(qū)域下，所以總共有兩個(gè)邏輯區(qū)域。每個(gè)邏輯區(qū)域都會(huì)選出一個(gè) leader 和其他區(qū)域的 leader 之間建立 WireGuard 隧道，同時(shí)區(qū)域內(nèi)部的節(jié)點(diǎn)之間通過 Bridge 模式打通容器的網(wǎng)絡(luò)。
通過 kgctl 可以獲取網(wǎng)絡(luò)拓?fù)浼軜?gòu)圖：
$ kgctl graph | circo -Tsvg > cluster.svg
全互聯(lián)模式（Full Mesh） 全互聯(lián)模式 其實(shí)就是邏輯分組互聯(lián)模式 的特例，即每一個(gè)節(jié)點(diǎn)都是一個(gè)邏輯區(qū)域，每個(gè)節(jié)點(diǎn)和其他所有節(jié)點(diǎn)都建立 WireGuard 隧道。關(guān)于全互聯(lián)模式的更多詳細(xì)內(nèi)容請(qǐng)參考 Wireguard 全互聯(lián)模式（full mesh）配置指南?？梢酝ㄟ^ Kilo 的啟動(dòng)參數(shù) --mesh-granularity=full 來指定全互聯(lián)模式。
通過 kgctl 可以獲取網(wǎng)絡(luò)拓?fù)浼軜?gòu)圖：
$ kgctl graph | circo -Tsvg > cluster.svg
混合模式 混合模式 就是邏輯分組模式 和全互聯(lián)模式 相結(jié)合，例如，如果集群中既有 GCP 的節(jié)點(diǎn)，還有一些無安全私有網(wǎng)段的裸金屬節(jié)點(diǎn)，可以把 GCP 的節(jié)點(diǎn)放到同一個(gè)邏輯區(qū)域中，其他裸金屬節(jié)點(diǎn)之間直接使用全互聯(lián)模式連接，這就是混合模式 。具體的操作方式是給 GCP 節(jié)點(diǎn)添加同一個(gè) annotation，其他裸金屬節(jié)點(diǎn)都添加相互獨(dú)立的 annotation：
$ for node in $(kubectl get nodes | grep -i gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="gcp"; done
$ for node in $(kubectl get nodes | tail -n +2 | grep -v gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="$node"; done 通過 kgctl 獲取網(wǎng)絡(luò)拓?fù)浼軜?gòu)圖：
$ kgctl graph | circo -Tsvg > cluster.svg
如果集群中還包含 AWS 節(jié)點(diǎn)，可以這么添加 annotation：
$ for node in $(kubectl get nodes | grep -i aws | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="aws"; done
$ for node in $(kubectl get nodes | grep -i gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="gcp"; done
$ for node in $(kubectl get nodes | tail -n +2 | grep -v aws | grep -v gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="$node"; done 網(wǎng)絡(luò)拓?fù)浼軜?gòu)圖如下：
2. Kilo 部署 如果你用的是國內(nèi)的云主機(jī)，一般都綁定了 IP 地址和 MAC 地址，也無法關(guān)閉源地址檢測，無法使用 Bridge 模式，也就無法使用 Kilo 的邏輯分組互聯(lián)模式 ，只能使用全互聯(lián)模式 。如果集群中還包含了數(shù)據(jù)中心，數(shù)據(jù)中心的節(jié)點(diǎn)之間是可以使用 Bridge 模式的，可以給數(shù)據(jù)中心的節(jié)點(diǎn)添加相同的 annotation，其他節(jié)點(diǎn)添加各不相同的 annotation。
我的節(jié)點(diǎn)都是國內(nèi)公有云節(jié)點(diǎn)，無法使用邏輯分組互聯(lián)模式，只能使用全互聯(lián)模式。本節(jié)就以全互聯(lián)模式為例，演示如何部署 Kilo。
Kilo 需要用到 kubeconfig，所以需要提前將 kubeconfig 文件從 Master 拷貝到所有 Node：
$ scp -r /etc/rancher/k3s/ nodexxx:/etc/rancher/k3s/ 修改 kubeconfig 文件，將 API Server 的地址改為 Master 的公網(wǎng)地址：
apiVersion: v1
clusters:
- cluster:
certificate-authority-data: *******
server: https://:6443
name: default
...
... 給每個(gè)節(jié)點(diǎn)添加相關(guān)的 annotaion：
# 指定 WireGuard 建立隧道的 Endpoint 公網(wǎng) IP:Port
$ kubectl annotate nodes xxx kilo.squat.ai/force-endpoint=
# 指定節(jié)點(diǎn)的內(nèi)網(wǎng) IP，WireGuard 會(huì)將其添加到 allowed ips 中，這樣可以打通各個(gè)節(jié)點(diǎn)的內(nèi)網(wǎng) IP
$ kubectl annotate nodes xxx kilo.squat.ai/force-internal-ip= 克隆 Kilo 的官方倉庫，進(jìn)入部署清單目錄：
$ git clone https://github.com/squat/kilo
$ cd kilo/manifests 修改 kilo 部署清單，調(diào)整啟動(dòng)參數(shù)：
...
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: kilo
namespace: kube-system
labels:
app.kubernetes.io/name: kilo
spec:
selector:
matchLabels:
app.kubernetes.io/name: kilo
template:
metadata:
labels:
app.kubernetes.io/name: kilo
spec:
serviceAccountName: kilo
hostNetwork: true
containers:
- name: kilo
image: squat/kilo
args:
- --kubeconfig=/etc/kubernetes/kubeconfig
- --hostname=$(NODE_NAME)
+ - --encapsulate=never
+ - --mesh-granularity=full
...
... 使用部署清單部署 kilo：
$ kubectl apply -f kilo-k3s.yaml 部署成功后，每臺(tái)節(jié)點(diǎn)會(huì)增加兩個(gè)網(wǎng)絡(luò)接口：
14: kilo0: mtu 1420 qdisc noqueue state UNKNOWN group default qlen 1000
link/none
inet 10.4.0.1/16 brd 10.4.255.255 scope global kilo0
valid_lft forever preferred_lft forever
6: kube-bridge: mtu 1420 qdisc noqueue state UP group default qlen 1000
link/ether 2a:7d:32:71:75:97 brd ff:ff:ff:ff:ff:ff
inet 10.42.0.1/24 scope global kube-bridge
valid_lft forever preferred_lft forever
inet6 fe80::287d:32ff:fe71:7597/64 scope link
valid_lft forever preferred_lft forever 其中 kilo0 是 WireGuard 虛擬網(wǎng)絡(luò)接口：
$ ip -d link show kilo0
14: kilo0: mtu 1420 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
link/none promiscuity 0
wireguard addrgenmode none numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535
$ wg show kilo0
interface: kilo0
public key: VLAjOkfb1U3/ftNOVtAjY8P3hafR12qQB05ueUJtLBQ=
private key: (hidden)
listening port: 51820
peer: JznFuu9Q7gXcfHFGRLB/LirKi8ttSX22T5f+1cWomzA=
endpoint: xxxx:51820
allowed ips: 10.42.1.0/24, 192.168.20.1/32, 10.4.0.2/32
latest handshake: 51 seconds ago
transfer: 88.91 MiB received, 76.11 MiB sent
peer: gOvNh2FHJKtfigxV1Az5OFCq2WMq3YEn2F4H4xknVFI=
endpoint: xxxx:51820
allowed ips: 10.42.2.0/24, 192.168.30.1/32, 10.4.0.3/32
latest handshake: 17 seconds ago
transfer: 40.86 MiB received, 733.03 MiB sent
...
... kube-bridge 是本地容器網(wǎng)絡(luò) veth pair 所連接的 Bridge：
$ bridge link show kube-bridge
7: veth99d2f30b state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
8: vethfb6d487c state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
10: veth88ae725c state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
11: veth5c0d00d8 state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
12: veth6ae51319 state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
13: vethe5796697 state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
15: vethe169cdda state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2
21: vethfe78e116 state UP @wg0: mtu 1420 master kube-bridge state forwarding priority 32 cost 2 至此 Kilo 的全互聯(lián)模式就部署好了，跨公有云的各個(gè)云主機(jī)節(jié)點(diǎn)上的容器已經(jīng)可以相互通信，下一步就是打通本地與云上容器之間的網(wǎng)絡(luò)。
3. 打通本地與云上容器網(wǎng)絡(luò) 為了便于理解，先來做個(gè)假設(shè)，假設(shè)有 4 個(gè)公有云節(jié)點(diǎn)，分別是 AWS、Azure、GCP、阿里云，再假設(shè) Service 的子網(wǎng)是 10.43.0.0/16，Pod 的子網(wǎng)是 10.42.0.0/16，那么每臺(tái)節(jié)點(diǎn)的 Pod 子網(wǎng)分別為 10.42.0.0/24、10.42.1.0/24、10.42.2.0/24、10.42.3.0/24。
為了和 Kubernetes 集群網(wǎng)絡(luò)分開，需要使用一個(gè)新的網(wǎng)絡(luò)接口 wg0，網(wǎng)絡(luò)架構(gòu)還是建議使用全互聯(lián)模式，具體可參考 Wireguard 全互聯(lián)模式（full mesh）配置指南。
為了讓本地客戶端能訪問云上的 Pod IP，可以讓本地訪問 AWS 節(jié)點(diǎn)的 10.42.0.0/24，訪問 Azure 節(jié)點(diǎn)的 10.42.1.0/24，以此類推。當(dāng)然也可以直接讓本地訪問任意一個(gè)云上節(jié)點(diǎn)的 10.42.0.0/16，不過我還是不建議使用這種架構(gòu)。
至于 Service IP，并沒有像 Pod 一樣給每個(gè)節(jié)點(diǎn)劃分一個(gè)更細(xì)粒度的子網(wǎng)，所有的節(jié)點(diǎn)都從同一個(gè)大的子網(wǎng)中分配，所以無法采用上面的方式，只能選擇其中一個(gè)節(jié)點(diǎn)來集中轉(zhuǎn)發(fā)本地客戶端訪問 Service 的流量，假設(shè)選擇 AWS 的節(jié)點(diǎn)。
還是和之前一樣，繼續(xù)使用 wg-gen-web 來管理 WireGuard 的配置，假設(shè)使用 AWS 的節(jié)點(diǎn)來安裝 wg-gen-web。
這里有一個(gè)地方需要注意，kilo0 已經(jīng)打通了 k3s 各個(gè)節(jié)點(diǎn)的私有網(wǎng)段，所以 wg0 不再需要打通私有網(wǎng)段，將 k3s 各個(gè)節(jié)點(diǎn)的私有網(wǎng)段刪除即可：
先增加一個(gè)新配置給本地客戶端使用，Allowed IPs 中新增 10.42.0.0/24 和 10.43.0.0/16，讓本地客戶端能訪問 AWS 節(jié)點(diǎn)中的 Pod IP 和整個(gè)集群的 Service IP：
這時(shí)你會(huì)發(fā)現(xiàn) AWS 節(jié)點(diǎn)中的 wg0.conf 中已經(jīng)包含了本地客戶端的配置：
$ cat /etc/wireguard/wg0.conf
...
# macOS / / Updated: 2021-03-01 05:52:20.355083356 +0000 UTC / Created: 2021-03-01 05:52:20.355083356 +0000 UTC
[Peer]
PublicKey = CEN+s+jpMX1qzQRwbfkfYtHoJ+Hqq4APfISUkxmQ0hQ=
PresharedKey = pSAxmHb6xXRMl9667pFMLg/1cRBFDRjcVdD7PKtMP1M=
AllowedIPs = 10.0.0.5/32
... 修改 Azure 節(jié)點(diǎn)的 WireGuard 配置文件，添加本地客戶端的配置：
$ cat Azure.conf
[Interface]
Address = 10.0.0.2/32
PrivateKey = IFhAyIWY7sZmabsqDDESj9fqoniE/uZFNIvAfYHjN2o=
PostUp = iptables -I FORWARD -i wg0 -j ACCEPT; iptables -I FORWARD -o wg0 -j ACCEPT; iptables -I INPUT -i wg0 -j ACCEPT; iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
PostDown = iptables -D FORWARD -i wg0 -j ACCEPT; iptables -D FORWARD -o wg0 -j ACCEPT; iptables -D INPUT -i wg0 -j ACCEPT; iptables -t nat -D POSTROUTING -o eth0 -j MASQUERADE
[Peer]
PublicKey = JgvmQFmhUtUoS3xFMFwEgP3L1Wnd8hJc3laJ90Gwzko=
PresharedKey = 1SyJuVp16Puh8Spyl81EgD9PJZGoTLJ2mOccs2UWDvs=
AllowedIPs = 10.0.0.1/32
Endpoint = aws.com:51820
# Aliyun / / Updated: 2021-02-24 07:57:45.941019829 +0000 UTC / Created: 2021-02-24 07:57:45.941019829 +0000 UTC
[Peer]
PublicKey = kVq2ATMTckCKEJFF4TM3QYibxzlh+b9CV4GZ4meQYAo=
AllowedIPs = 10.0.0.4/32
Endpoint = aliyun.com:51820
# GCP / / Updated: 2021-02-24 07:57:27.3555646 +0000 UTC / Created: 2021-02-24 07:57:27.3555646 +0000 UTC
[Peer]
PublicKey = qn0Xfyzs6bLKgKcfXwcSt91DUxSbtATDIfe4xwsnsGg=
AllowedIPs = 10.0.0.3/32
Endpoint = gcp.com:51820
# macOS / / Updated: 2021-03-01 05:52:20.355083356 +0000 UTC / Created: 2021-03-01 05:52:20.355083356 +0000 UTC
[Peer]
PublicKey = CEN+s+jpMX1qzQRwbfkfYtHoJ+Hqq4APfISUkxmQ0hQ=
AllowedIPs = 10.0.0.5/32 同理，GCP 和 Aliyun 節(jié)點(diǎn)也要添加新增的本地客戶端配置。
下載本地客戶端的配置文件：
將 AWS 節(jié)點(diǎn)的 wg0.conf 中的 Aliyun、GCP 和 Azure 的配置拷貝到本地客戶端的配置中，并刪除 PresharedKey 的配置，再添加 Endpoint 的配置和相應(yīng)的 Pod IP 所在的網(wǎng)段：
[Interface]
Address = 10.0.0.5/32
PrivateKey = wD595KeTPKBDneKWOTUjJQjxZ5RrlxsbeEsWL0gbyn8=
[Peer]
PublicKey = JgvmQFmhUtUoS3xFMFwEgP3L1Wnd8hJc3laJ90Gwzko=
PresharedKey = 5htJA/UoIulrgAn9tDdUxt1WYmOriCXIujBVVaz/uZI=
AllowedIPs = 10.0.0.1/32, 10.42.0.0/24, 10.43.0.0/16
Endpoint = aws.com:51820
# Aliyun / / Updated: 2021-02-24 07:57:45.941019829 +0000 UTC / Created: 2021-02-24 07:57:45.941019829 +0000 UTC
[Peer]
PublicKey = kVq2ATMTckCKEJFF4TM3QYibxzlh+b9CV4GZ4meQYAo=
AllowedIPs = 10.0.0.4/32, 10.42.3.0/24
Endpoint = aliyun.com:51820
# GCP / / Updated: 2021-02-24 07:57:27.3555646 +0000 UTC / Created: 2021-02-24 07:57:27.3555646 +0000 UTC
[Peer]
PublicKey = qn0Xfyzs6bLKgKcfXwcSt91DUxSbtATDIfe4xwsnsGg=
AllowedIPs = 10.0.0.3/32, 10.42.2.0/24
Endpoint = gcp.com:51820
# Azure / / Updated: 2021-02-24 07:57:00.751653134 +0000 UTC / Created: 2021-02-24 07:43:52.717385042 +0000 UTC
[Peer]
PublicKey = OzdH42suuOpVY5wxPrxM+rEAyEPFg2eL0ZI29N7eSTY=
AllowedIPs = 10.0.0.2/32, 10.42.1.0/24
Endpoint = azure.com:51820 最后在本地把 WireGuard 跑起來，就可以暢游云主機(jī)的 Kubernetes 集群了。
如果你還想更進(jìn)一步，在任何一個(gè)設(shè)備上都能通過 Service 的名稱來訪問 k3s 集群中的服務(wù)，就得在 CoreDNS 上做文章了，感興趣的可以自己研究下。
這個(gè)坑總算填完了，WireGuard 系列暫時(shí)就告一段落了，后面如果發(fā)現(xiàn)了更有趣的玩法，我會(huì)第一時(shí)間給大家分享出來。
感謝各位的閱讀，以上就是“Kilo的使用教程”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)Kilo的使用教程這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！
分享標(biāo)題：Kilo的使用教程
文章分享：
http://weahome.cn/article/jgohco.html
重慶分公司
重慶分公司
