作者：大飛哥，視源電子運維工程師，KubeSphere 用戶委員會廣州站站長，KubeSphere Ambassador。

在疊彩等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站建設(shè)、網(wǎng)站制作 網(wǎng)站設(shè)計制作定制設(shè)計,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計,全網(wǎng)營銷推廣,外貿(mào)網(wǎng)站制作,疊彩網(wǎng)站建設(shè)費用合理。

K8S 對集群外暴露服務(wù)有三種方式：NodePort，Ingress 和 Loadbalancer。NodePort 用于暴露 TCP 服務(wù)(4 層)，但限于對集群節(jié)點主機端口的占用，不適合大規(guī)模使用；Ingress 用于暴露 HTTP 服務(wù)(7 層)，可對域名地址做路由分發(fā)；Loadbalancer 則專屬于云服務(wù)，可動態(tài)分配公網(wǎng)網(wǎng)關(guān)。

對于私有云集群，沒有用到公有云服務(wù)，能否使用 LoadBalancer 對外暴露服務(wù)呢？

答案當(dāng)然是肯定的，OpenELB 正是為裸金屬服務(wù)器提供 LoadBalancer 服務(wù)而生的！

應(yīng)用安裝與配置 安裝 OpenELB

參考官方安裝文檔

$ kubectl apply -f https://raw.githubusercontent.com/openelb/openelb/master/deploy/openelb.yaml

添加 EIP 池

EIP 地址要與集群主機節(jié)點在同一網(wǎng)段內(nèi)，且不可綁定任何網(wǎng)卡；

apiVersion: network.kubesphere.io/v1alpha2
kind: Eip
metadata:
  name: eip-sample-pool
  annotations:
    eip.openelb.kubesphere.io/is-default-eip: "true"
spec:
  address: 192.168.0.91-192.168.0.100
  protocol: layer2
  interface: eth0
  disable: false

配置 Service 為 LoadBalancer

把 Service 類型修改為 LoadBalancer，同時 annotations 中添加如下三行：

lb.kubesphere.io/v1alpha1: openelb
protocol.openelb.kubesphere.io/v1alpha1: layer2
eip.openelb.kubesphere.io/v1alpha2: layer2-eip

總體配置清單如下：

kind: Service
apiVersion: v1
metadata:
  name: layer2-svc
  annotations:
    lb.kubesphere.io/v1alpha1: openelb
    protocol.openelb.kubesphere.io/v1alpha1: layer2
    eip.openelb.kubesphere.io/v1alpha2: layer2-eip
spec:
  selector:
    app: layer2-openelb
  type: LoadBalancer
  ports:
    - name: http
      port: 80
      targetPort: 8080
  externalTrafficPolicy: Cluster

Layer2 模式中的黑客技術(shù)

ARP 欺騙技術(shù): 應(yīng)用程序主動回復(fù)路由器 ARP 請求，讓路由器以為該應(yīng)用是合法終端，從而劫持網(wǎng)絡(luò)流量包。

OpenELB 正是利用 ARP 欺騙技術(shù)，從而獲取路由器流量，再由 kube-proxy 將流量轉(zhuǎn)發(fā)到 Service 網(wǎng)絡(luò)。OpenELB Layer2 模式需要配置 EIP，如上圖所示的 EIP 為192.168.0.91。

當(dāng)請求 EIP 地址時，路由器會在局域網(wǎng)內(nèi)發(fā)起 ARP 協(xié)議廣播，哪個終端設(shè)備響應(yīng)，就把數(shù)據(jù)包發(fā)送給誰；配置 EIP 時有要求，EIP 地址不能綁定任何網(wǎng)卡，也就是說正常情況下，不會有任何物理硬件設(shè)備響應(yīng)。此時的 OpenELB，就趁虛而入，捕獲到 ARP 廣播信息后，對路由器廣播進行響應(yīng)，把自己偽裝成終端設(shè)備。OpenELB 獲得流量后，再經(jīng)由 kube-proxy 轉(zhuǎn)發(fā)入 Service 網(wǎng)絡(luò)。

可以在其中一臺 Node 上面抓包看一下：

$ tcpdump -i any arp -nn -vvv | grep 192.168.0.91

17:33:01.398722 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.91 (ff:ff:ff:ff:ff:ff) tell 192.168.0.91, length 46
17:33:01.398793 ARP, Ethernet (len 6), IPv4 (len 4), Reply 192.168.0.91 is-at 52:54:22:3a:e6:6e, length 46

路由器的 ARP 緩存每過一段時間就會失效，重新發(fā)起 ARP 協(xié)議廣播，使用 tcpdump 一直監(jiān)聽就可以抓到相關(guān)的數(shù)據(jù)包?？梢钥吹?OpenELB 響應(yīng)的 MAC 地址是 Kubernetes 的其中一臺節(jié)點的 MAC 地址。

改善與建議

OpenELB Layer2 模式因其實現(xiàn)簡單，而且對物理硬件和網(wǎng)絡(luò)沒有額外要求，所以實際生產(chǎn)中經(jīng)常會用到。但目前仍存在單點故障風(fēng)險，即如果 OpenELB 實例因資源不足故障，則整個對外流量將中斷。

萬幸的是 OpenELB 官方已有新的解決方案，即 Layer2 VIP 模式，該模式的使用方式可以參考官方文檔。有時間我會再寫一篇 Layer2 VIP 模式的詳細使用方案，敬請期待。

本文由博客一文多發(fā)平臺 OpenWrite 發(fā)布！

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

分享文章：負載均衡器OpenELBARP欺騙技術(shù)解析-創(chuàng)新互聯(lián)
瀏覽路徑：http://weahome.cn/article/jogcj.html