今天就跟大家聊聊有關(guān)KubeSphere中的Kubernetes 集群自動(dòng)巡檢工具KubeEye怎么用，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

創(chuàng)新互聯(lián)建站專注于網(wǎng)站建設(shè)|成都網(wǎng)站維護(hù)|優(yōu)化|托管以及網(wǎng)絡(luò)推廣，積累了大量的網(wǎng)站設(shè)計(jì)與制作經(jīng)驗(yàn)，為許多企業(yè)提供了網(wǎng)站定制設(shè)計(jì)服務(wù)，案例作品覆蓋護(hù)欄打樁機(jī)等行業(yè)。能根據(jù)企業(yè)所處的行業(yè)與銷售的產(chǎn)品，結(jié)合品牌形象的塑造，量身建設(shè)品質(zhì)網(wǎng)站。

為什么開(kāi)源 KubeEye

Kubernetes 作為容器編排的事實(shí)標(biāo)準(zhǔn)，雖然架構(gòu)優(yōu)雅功能也非常強(qiáng)大，但是 Kubernetes 在日常運(yùn)行過(guò)程中總會(huì)有一些疑難雜癥和隱性的問(wèn)題讓集群管理員和 Yaml 工程師們非常頭疼，

• 基礎(chǔ)設(shè)施守護(hù)進(jìn)程問(wèn)題：ntp 服務(wù)中斷；

• 硬件問(wèn)題：如 CPU，內(nèi)存或磁盤(pán)異常；

• 內(nèi)核問(wèn)題：內(nèi)核死鎖，文件系統(tǒng)損壞；

• 容器運(yùn)行時(shí)問(wèn)題：運(yùn)行時(shí)守護(hù)進(jìn)程無(wú)響應(yīng)；

• ···

這樣的問(wèn)題還有很多，并且這些隱性的異常問(wèn)題對(duì)集群的控制面來(lái)說(shuō)是不可見(jiàn)的，因此 Kubernetes 將繼續(xù)將 Pod 調(diào)度到異常的節(jié)點(diǎn)，進(jìn)而造成集群和運(yùn)行的應(yīng)用帶來(lái)非常大的安全與穩(wěn)定性的風(fēng)險(xiǎn)。

什么是 KubeEye

KubeEye 是一款開(kāi)源的集群自動(dòng)巡檢工具，旨在發(fā)現(xiàn) Kubernetes 上的各種問(wèn)題，比如應(yīng)用配置錯(cuò)誤、集群組件不健康和節(jié)點(diǎn)問(wèn)題。KubeEye 使用 Go 語(yǔ)言基于 Polaris 和 Node-Problem-Detector 開(kāi)發(fā)，內(nèi)置了一系列異常檢測(cè)規(guī)則。除了預(yù)定義的規(guī)則，它還支持自定義規(guī)則。

KubeEye 能做什么

• 發(fā)現(xiàn)與檢測(cè) Kubernetes 集群控制平面的問(wèn)題，包括 kube-apiserver/kube-controller-manager/etcd等；

• 幫助你檢測(cè) Kubernetes 的各種節(jié)點(diǎn)問(wèn)題，包括內(nèi)存/CPU/磁盤(pán)壓力，意外的內(nèi)核錯(cuò)誤日志等；

• 根據(jù)行業(yè)最佳實(shí)踐驗(yàn)證你的工作負(fù)載 yaml 規(guī)范，幫助你使你的集群穩(wěn)定。

架構(gòu)圖

KubeEye 通過(guò)調(diào)用 Kubernetes API，通過(guò)常規(guī)匹配日志中的關(guān)鍵錯(cuò)誤信息和容器語(yǔ)法的規(guī)則匹配來(lái)獲取集群診斷數(shù)據(jù)，詳見(jiàn)架構(gòu)。

內(nèi)置檢查項(xiàng)

注：未標(biāo)注的項(xiàng)目正在開(kāi)發(fā)中

怎么使用

• 機(jī)器上安裝 KubeEye

  git clone https://github.com/kubesphere/kubeeye.git
  cd kubeeye 
  make install

• 從 Releases 中下載預(yù)構(gòu)建的可執(zhí)行文件。

• 或者你也可以從源代碼構(gòu)建

• [可選] 安裝 Node-problem-Detector
  注意：這一行將在你的集群上安裝 npd，只有當(dāng)你想要詳細(xì)的報(bào)告時(shí)才需要。 ke install npd

• KubeEye 執(zhí)行自動(dòng)巡檢：

root@node1:# ke diag
NODENAME        SEVERITY     HEARTBEATTIME               REASON              MESSAGE
node18          Fatal        2020-11-19T10:32:03+08:00   NodeStatusUnknown   Kubelet stopped posting node status.
node19          Fatal        2020-11-19T10:31:37+08:00   NodeStatusUnknown   Kubelet stopped posting node status.
node2           Fatal        2020-11-19T10:31:14+08:00   NodeStatusUnknown   Kubelet stopped posting node status.
node3           Fatal        2020-11-27T17:36:53+08:00   KubeletNotReady     Container runtime not ready: RuntimeReady=false reason:DockerDaemonNotReady message:docker: failed to get docker version: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

NAME            SEVERITY     TIME                        MESSAGE
scheduler       Fatal        2020-11-27T17:09:59+08:00   Get http://127.0.0.1:10251/healthz: dial tcp 127.0.0.1:10251: connect: connection refused
etcd-0          Fatal        2020-11-27T17:56:37+08:00   Get https://192.168.13.8:2379/health: dial tcp 192.168.13.8:2379: connect: connection refused

NAMESPACE       SEVERITY     PODNAME                                          EVENTTIME                   REASON                MESSAGE
default         Warning      node3.164b53d23ea79fc7                           2020-11-27T17:37:34+08:00   ContainerGCFailed     rpc error: code = Unknown desc = Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
default         Warning      node3.164b553ca5740aae                           2020-11-27T18:03:31+08:00   FreeDiskSpaceFailed   failed to garbage collect required amount of images. Wanted to free 5399374233 bytes, but freed 416077545 bytes
default         Warning      nginx-b8ffcf679-q4n9v.16491643e6b68cd7           2020-11-27T17:09:24+08:00   Failed                Error: ImagePullBackOff
default         Warning      node3.164b5861e041a60e                           2020-11-27T19:01:09+08:00   SystemOOM             System OOM encountered, victim process: stress, pid: 16713
default         Warning      node3.164b58660f8d4590                           2020-11-27T19:01:27+08:00   OOMKilling            Out of memory: Kill process 16711 (stress) score 205 or sacrifice child Killed process 16711 (stress), UID 0, total-vm:826516kB, anon-rss:819296kB, file-rss:0kB, shmem-rss:0kB
insights-agent  Warning      workloads-1606467120.164b519ca8c67416            2020-11-27T16:57:05+08:00   DeadlineExceeded      Job was active longer than specified deadline
kube-system     Warning      calico-node-zvl9t.164b3dc50580845d               2020-11-27T17:09:35+08:00   DNSConfigForming      Nameserver limits were exceeded, some nameservers have been omitted, the applied nameserver line is: 100.64.11.3 114.114.114.114 119.29.29.29
kube-system     Warning      kube-proxy-4bnn7.164b3dc4f4c4125d                2020-11-27T17:09:09+08:00   DNSConfigForming      Nameserver limits were exceeded, some nameservers have been omitted, the applied nameserver line is: 100.64.11.3 114.114.114.114 119.29.29.29
kube-system     Warning      nodelocaldns-2zbhh.164b3dc4f42d358b              2020-11-27T17:09:14+08:00   DNSConfigForming      Nameserver limits were exceeded, some nameservers have been omitted, the applied nameserver line is: 100.64.11.3 114.114.114.114 119.29.29.29


NAMESPACE       SEVERITY     NAME                      KIND         TIME                        MESSAGE
kube-system     Warning      node-problem-detector     DaemonSet    2020-11-27T17:09:59+08:00   [livenessProbeMissing runAsPrivileged]
kube-system     Warning      calico-node               DaemonSet    2020-11-27T17:09:59+08:00   [runAsPrivileged cpuLimitsMissing]
kube-system     Warning      nodelocaldns              DaemonSet    2020-11-27T17:09:59+08:00   [cpuLimitsMissing runAsPrivileged]
default         Warning      nginx                     Deployment   2020-11-27T17:09:59+08:00   [cpuLimitsMissing livenessProbeMissing tagNotSpecified]
insights-agent  Warning      workloads                 CronJob      2020-11-27T17:09:59+08:00   [livenessProbeMissing]
insights-agent  Warning      cronjob-executor          Job          2020-11-27T17:09:59+08:00   [livenessProbeMissing]
kube-system     Warning      calico-kube-controllers   Deployment   2020-11-27T17:09:59+08:00   [cpuLimitsMissing livenessProbeMissing]
kube-system     Warning      coredns                   Deployment   2020-11-27T17:09:59+08:00   [cpuLimitsMissing]

可參考常見(jiàn) FAQ內(nèi)容來(lái)優(yōu)化您的集群。

添加自定義檢查規(guī)則

除了上述預(yù)置的巡檢項(xiàng)目與規(guī)則，KubeEye 還支持自定義檢查規(guī)則，來(lái)看個(gè)例子：

添加 npd 自定義檢查規(guī)則

• 安裝 NPD 指令 ke install npd

• 由 kubectl 編輯 configmap kube-system/node-problem-detector-config,

kubectl edit cm -n kube-system node-problem-detector-config

• 在 configMap 的規(guī)則下添加異常日志信息，規(guī)則遵循正則表達(dá)式。

自定義最佳實(shí)踐規(guī)則

• 準(zhǔn)備一個(gè)規(guī)則 yaml，例如，下面的規(guī)則將驗(yàn)證你的 Pod 規(guī)范，以確保鏡像只來(lái)自授權(quán)的注冊(cè)處。

checks:
  imageFromUnauthorizedRegistry: warning

customChecks:
  imageFromUnauthorizedRegistry:
    promptMessage: When the corresponding rule does not match. Show that image from an unauthorized registry.
    category: Images
    target: Container
    schema:
      '$schema': http://json-schema.org/draft-07/schema
      type: object
      properties:
        image:
          type: string
          not:
            pattern: ^quay.io

• 將上述規(guī)則保存為 yaml，例如 rule.yaml。

• 用 rule.yaml 運(yùn)行 KubeEye。

root:# ke diag -f rule.yaml --kubeconfig ~/.kube/config
NAMESPACE     SEVERITY    NAME                      KIND         TIME                        MESSAGE
default       Warning     nginx                     Deployment   2020-11-27T17:18:31+08:00   [imageFromUnauthorizedRegistry]
kube-system   Warning     node-problem-detector     DaemonSet    2020-11-27T17:18:31+08:00   [livenessProbeMissing runAsPrivileged]
kube-system   Warning     calico-node               DaemonSet    2020-11-27T17:18:31+08:00   [cpuLimitsMissing runAsPrivileged]
kube-system   Warning     calico-kube-controllers   Deployment   2020-11-27T17:18:31+08:00   [cpuLimitsMissing livenessProbeMissing]
kube-system   Warning     nodelocaldns              DaemonSet    2020-11-27T17:18:31+08:00   [runAsPrivileged cpuLimitsMissing]
default       Warning     nginx                     Deployment   2020-11-27T17:18:31+08:00   [livenessProbeMissing cpuLimitsMissing]
kube-system   Warning     coredns                   Deployment   2020-11-27T17:18:31+08:00   [cpuLimitsMissing]

Roadmap

• 支持更細(xì)粒度的巡檢項(xiàng)，例如集群響應(yīng)速度慢

• 支持對(duì)巡檢結(jié)果生成集群巡檢報(bào)告

• 支持集群巡檢報(bào)告導(dǎo)出為 CSV 格式或 HTML 文件

看完上述內(nèi)容，你們對(duì)KubeSphere中的Kubernetes 集群自動(dòng)巡檢工具KubeEye怎么用有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。