Kubernetes 系統(tǒng)的可觀測(cè)性方案包括指標(biāo)、日志、鏈路追蹤、K8s Event 事件、NPD 框架等方式。
https://new.qq.com/rain/a/20210605A02GBV00
二、指標(biāo)（Metrics）Prometheus 是業(yè)界指標(biāo)類數(shù)據(jù)采集方案的事實(shí)標(biāo)準(zhǔn)，是開源的系統(tǒng)監(jiān)測(cè)和報(bào)警框架。
Prometheus 具有以下特性：
多維的數(shù)據(jù)模型（基于時(shí)間序列的 Key、Value 鍵值對(duì)）
靈活的查詢和聚合語(yǔ)言 PromQL
通過基于 HTTP 的 Pull模型采集或利用 Pushgateway實(shí)現(xiàn) Push 模式
可通過動(dòng)態(tài)服務(wù)發(fā)現(xiàn)或靜態(tài)配置發(fā)現(xiàn)目標(biāo)機(jī)器
支持多種圖表和數(shù)據(jù)大盤
Prometheus 可以周期性采集組件暴露在 HTTP(s) 端點(diǎn)的/metrics 下面的指標(biāo)數(shù)據(jù)，并存儲(chǔ)到 TSDB，實(shí)現(xiàn)基于 PromQL 的查詢和聚合功能。
https://blog.csdn.net/w2009211777/article/details/123822132
三、K8S指標(biāo)：容器基礎(chǔ)資源指標(biāo)采集源為 kubelet 內(nèi)置的 cAdvisor，提供容器內(nèi)存、CPU、網(wǎng)絡(luò)、文件系統(tǒng)等相關(guān)的指標(biāo)，指標(biāo)樣例包括：
容器當(dāng)前內(nèi)存使用字節(jié)數(shù) container_memory_usage_bytes；
容器網(wǎng)絡(luò)接收字節(jié)數(shù) container_network_receive_bytes_total；
容器網(wǎng)絡(luò)發(fā)送字節(jié)數(shù) container_network_transmit_bytes_total，等等。
四、K8S指標(biāo)：節(jié)點(diǎn)資源指標(biāo)采集源為 node_exporter，提供節(jié)點(diǎn)系統(tǒng)和硬件相關(guān)的指標(biāo)，指標(biāo)樣例包括：節(jié)點(diǎn)總內(nèi)存 node_memory_MemTotal_bytes，節(jié)點(diǎn)文件系統(tǒng)空間 node_filesystem_size_bytes，節(jié)點(diǎn)網(wǎng)絡(luò)接口 ID node_network_iface_id，等等?；谠擃愔笜?biāo)，可以統(tǒng)計(jì)節(jié)點(diǎn)的 CPU/內(nèi)存/磁盤使用率等節(jié)點(diǎn)級(jí)別指標(biāo)。
針對(duì)node_exporter，我們是單獨(dú)部署了一個(gè)prometheus采集，專門給管理員他們看的，業(yè)務(wù)部關(guān)系node
五、K8S指標(biāo)：資源指標(biāo)采集源為 kube-state-metrics，基于 Kubernetes API 對(duì)象生成指標(biāo)，提供 K8s 集群資源指標(biāo)，例如 Node、ConfigMap、Deployment、DaemonSet 等類型。以 Node 類型指標(biāo)為例，包括節(jié)點(diǎn) Ready 狀態(tài)指標(biāo) kube_node_status_condition、節(jié)點(diǎn)信息kube_node_info 等等。
六、K8S指標(biāo)：組件指標(biāo)1、Kubernetes 系統(tǒng)組件指標(biāo)
例如 kube-controller-manager, kube-apiserver，kube-scheduler, kubelet，kube-proxy、coredns 等。
2、Kubernetes 運(yùn)維組件指標(biāo)。
可觀測(cè)類包括 blackbox_operator, 實(shí)現(xiàn)對(duì)用戶自定義的探活規(guī)則定義；gpu_exporter，實(shí)現(xiàn)對(duì) GPU 資源的透出能力。
3、Kubernetes 業(yè)務(wù)應(yīng)用指標(biāo)。
包括具體的業(yè)務(wù)Pod在/metrics 路徑透出的指標(biāo)，以便外部進(jìn)行查詢和聚合。
除了上述指標(biāo)，K8s 提供了通過 API 方式對(duì)外透出指標(biāo)的監(jiān)測(cè)接口標(biāo)準(zhǔn)，具體包括 Resource Metrics，Custom Metrics 和 External Metrics 三類。
十、Pod異常排查 1、Pod 狀態(tài)異常就緒失敗，即 Pod 一直無法到達(dá) Ready 狀態(tài)，無法接收請(qǐng)求進(jìn)行業(yè)務(wù)處理，常見的根因如下：
資源不足，無法調(diào)度（Pending），即集群的 Node 沒有預(yù)留資源能夠滿足 Pod 的 Request 資源。
鏡像拉取失敗（ ImagePullBackoff ），鏡像的倉(cāng)庫(kù)地址，tag 出現(xiàn)問題。
磁盤掛載失?。≒ending），容器掛載的 PVC 沒有 bound。
Liveless probe 探針失敗，頻繁重啟。
Readiness probe 探針失敗，無法達(dá)到 Ready 狀態(tài)。
postStart 執(zhí)行失敗，一直無法進(jìn)入運(yùn)行狀態(tài)。
運(yùn)行時(shí)程序崩潰（ CrashLoopBackOff ），頻繁重啟。
配置錯(cuò)誤，比如掛載的 Volume 不存在（RunContainerError）。
報(bào)告期內(nèi)出現(xiàn) Pod 頻繁重啟現(xiàn)象，常見的根因如下：
程序異常退出，比如非法地址訪問，比如進(jìn)入了程序需要退出的條件等。
容器內(nèi)存使用量超過內(nèi)存 Limit 量，被 OOMKilled。
具體體現(xiàn)在 Pod 服務(wù)的請(qǐng)求錯(cuò)誤率變高或者請(qǐng)求處理 P95 響應(yīng)時(shí)間高等，常見的根因如下：
請(qǐng)求量突增，程序自身可能觸發(fā)流控或者其他異常處理，導(dǎo)致請(qǐng)求處理失敗率提升；
自身代碼處理錯(cuò)誤，請(qǐng)求量沒有變化，可能是上線新的功能有 bug；
不可壓縮資源不足（磁盤，內(nèi)存），請(qǐng)求處理包含磁盤的寫操作，資源不足出現(xiàn)失?。煌獠恳蕾嚪?wù)報(bào)錯(cuò)，請(qǐng)求處理需要調(diào)用下游服務(wù)，他們報(bào)錯(cuò)引發(fā)請(qǐng)求處理失敗。
外部依賴服務(wù)響應(yīng)時(shí)間高，請(qǐng)求處理需要調(diào)用下游服務(wù)，他們的響應(yīng)時(shí)間高會(huì)導(dǎo)致請(qǐng)求處理慢。
Pod 容器出現(xiàn)內(nèi)存 OOM，Pod 頻繁重啟，常見的根因如下：
自身代碼內(nèi)存泄露；
Pod 內(nèi)存 Request 值偏低，如果該值偏低的情況下配置 HPA，會(huì)頻繁觸發(fā)擴(kuò)容，同時(shí)具有被驅(qū)逐的風(fēng)險(xiǎn)。
Pod 內(nèi)存 Limit 值偏低，容器內(nèi)存使用量超過 Limit 值會(huì)被 OOMKilled 掉。
Pod 的整體 CPU 使用率一直維持在超過 80% 的狀態(tài)，常見的根因如下：
自身代碼效率不足，業(yè)務(wù)處理的時(shí)間復(fù)雜度太高，需要找到熱點(diǎn)方法進(jìn)行優(yōu)化；
Pod CPU Request 值偏低，如果該值偏低的情況下配置 HPA，會(huì)頻發(fā)觸發(fā)擴(kuò)容，同時(shí)具有被驅(qū)逐的風(fēng)險(xiǎn)。
https://new.qq.com/rain/a/20210605A02GBV00
你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購(gòu)，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧
重慶分公司
重慶分公司
