一般我們說監(jiān)控 MySQL、監(jiān)控 Redis 的時(shí)候，都是指能夠采集到 MySQL、Redis 的監(jiān)控?cái)?shù)據(jù)，并能可視化展示。這時(shí)候監(jiān)控表示數(shù)據(jù)采集和可視化，不包括告警引擎和事件處理。
監(jiān)控系統(tǒng)當(dāng)我們講監(jiān)控系統(tǒng)的時(shí)候，因?yàn)檎f的是整個(gè)系統(tǒng)，所以也會(huì)包含告警和事件發(fā)送等相關(guān)功能。
監(jiān)控指標(biāo)監(jiān)控指標(biāo)是指數(shù)值類型的監(jiān)控?cái)?shù)據(jù)，比如某個(gè)機(jī)器的內(nèi)存利用率，某個(gè) MySQL 實(shí)例的當(dāng)前連接數(shù)，某個(gè) Redis 的大內(nèi)存上限等等。不同的監(jiān)控系統(tǒng)，對(duì)于監(jiān)控指標(biāo)有不同的描述方式，典型的方式有三種，下面我們分別介紹一下。
全局唯一字符串作為指標(biāo)標(biāo)識(shí)監(jiān)控指標(biāo)通常是一個(gè)全局唯一的字符串，比如某機(jī)器的內(nèi)存利用率 host.10.2.3.4.mem_used_percent，這個(gè)字符串中包含了機(jī)器的信息，也包含了指標(biāo)名，可以唯一標(biāo)識(shí)一條監(jiān)控指標(biāo)。假設(shè)監(jiān)控?cái)?shù)據(jù)采集的頻率是 30 秒，2 分鐘內(nèi)采集了 4 個(gè)數(shù)據(jù)點(diǎn)，一個(gè)數(shù)據(jù)點(diǎn)包含一個(gè)時(shí)間戳和一個(gè)值，我們看一下如何用 JSON 表示這個(gè)監(jiān)控指標(biāo)及其監(jiān)控?cái)?shù)據(jù)。
重慶分公司
重慶分公司
{"name": "host.10.2.3.4.mem_used_percent",
"points": [
{ "clock": 1662449136,
"value": 45.4
},
{ "clock": 1662449166,
"value": 43.2
},
{ "clock": 1662449196,
"value": 44.9
},
{ "clock": 1662449226,
"value": 44.8
}
]
}相對(duì)老一些的監(jiān)控系統(tǒng)，比如 Graphite，就是使用這種方式來標(biāo)識(shí)監(jiān)控指標(biāo)的。一些老的監(jiān)控?cái)?shù)據(jù)采集器，比如 Collectd，也是這樣標(biāo)識(shí)監(jiān)控指標(biāo)的。
雖然這種方式一目了然，非常清晰，但是缺少對(duì)維度信息的描述，不便于做聚合計(jì)算。比如下面幾條用于描述 HTTP 請(qǐng)求狀態(tài)碼的指標(biāo)。
myhost.service1.http_request.200.get
myhost.service1.http_request.200.post
myhost.service1.http_request.500.get
myhost.service1.http_request.500.post
myhost.service2.http_request.200.get
myhost.service2.http_request.500.postmyhost 這個(gè)機(jī)器上部署了兩個(gè)服務(wù)，分別是 service1 和 service2。有些請(qǐng)求狀態(tài)碼是 200，有些是 500，有些 HTTP method 是 get，有些是 post。我們想分別統(tǒng)計(jì)這些指標(biāo)的數(shù)量，就要把這些分類維度信息都拼到指標(biāo)標(biāo)識(shí)中。但是這樣做會(huì)產(chǎn)生兩個(gè)弊端：一是看起來比較混亂，二是不方便聚合統(tǒng)計(jì)。
標(biāo)簽集的組合作為指標(biāo)標(biāo)識(shí)OpenTSDB 的數(shù)據(jù)示例
mysql.bytes_received 1287333217 327810227706 schema=foo host=db1
mysql.bytes_sent 1287333217 6604859181710 schema=foo host=db1
mysql.bytes_received 1287333232 327812421706 schema=foo host=db1
mysql.bytes_sent 1287333232 6604901075387 schema=foo host=db1
mysql.bytes_received 1287333321 340899533915 schema=foo host=db2
mysql.bytes_sent 1287333321 5506469130707 schema=foo host=db2上面這 6 條監(jiān)控指標(biāo)，都通過空格把指標(biāo)分隔成了多個(gè)字段。第一段是指標(biāo)名，第二段是時(shí)間戳（單位是秒），第三段是指標(biāo)值，剩下的部分是多個(gè)標(biāo)簽（tags/labels），每個(gè)標(biāo)簽都是 key=value 的格式，多個(gè)標(biāo)簽之間使用空格分隔。
了 OpenTSDB，新時(shí)代的時(shí)序庫(kù)大都引入了標(biāo)簽的概念，比如 Prometheus，它們甚至認(rèn)為指標(biāo)名也是一種特殊的標(biāo)簽（其標(biāo)簽 key 是 name ），所以 Prometheus 僅僅使用標(biāo)簽集作為指標(biāo)標(biāo)識(shí)，從 Prometheus 的數(shù)據(jù)結(jié)構(gòu)定義中就可以看出來。
message Sample {double value = 1;
int64 timestamp = 2;
}
message Label {string name = 1;
string value = 2;
}
message TimeSeries {repeated Label labels = 1 [(gogoproto.nullable) = false];
repeated Sample samples = 2 [(gogoproto.nullable) = false];
}TimeSeries 這個(gè)結(jié)構(gòu)中并沒有一個(gè)單獨(dú)的 metric 字段，指標(biāo)名的信息實(shí)際是放到了 labels 數(shù)組中了。
優(yōu)雅高效的 Influx 指標(biāo)格式nfluxData 公司有一款開源時(shí)序庫(kù)非常有名，叫InfluxDB，InfluxDB 在接收監(jiān)控?cái)?shù)據(jù)寫入時(shí)，設(shè)計(jì)了一個(gè)非常精巧的指標(biāo)格式，一行可以傳輸多個(gè)指標(biāo)。
mesurement,labelkey1=labelval1,labelkey2=labelval2 field1=1.2,field2=2.3 timestamp總體來看，分為 4 個(gè)部分，measurement,tag_set field_set timestamp，其中 tag_set 是可選的，tag_set 與前面的 measurement 之間用逗號(hào)分隔，其他各個(gè)部分之間都是用空格來分隔的。我們可以通過下面的例子來理解。
weather,location=us-midwest temperature=82 1465839830100400200
| -------------------- -------------- |
| | | |
| | | |
+-----------+--------+-+---------+-+---------+
|measurement|,tag_set| |field_set| |timestamp|
+-----------+--------+-+---------+-+---------+我們把上面 OpenTSDB 的指標(biāo)示例改寫成 Influx 格式，結(jié)果是這樣的。
mysql,schema=foo,host=db1 bytes_received=327810227706,bytes_sent=6604859181710 1287333217000000000
mysql,schema=foo,host=db1 bytes_received=327812421706,bytes_sent=6604901075387 1287333232000000000
mysql,schema=foo,host=db2 bytes_received=340899533915,bytes_sent=5506469130707 1287333321000000000注意，時(shí)間戳的單位是納秒。這種寫法設(shè)計(jì)很精巧，標(biāo)簽重復(fù)度低，field 越多的情況下它的優(yōu)勢(shì)越明顯，網(wǎng)絡(luò)傳輸?shù)臅r(shí)候可以節(jié)省更多帶寬。當(dāng)然了，OpenTSDB 的格式或者 Prometheus 的格式如果做了數(shù)據(jù)壓縮，節(jié)省帶寬的效果也是不錯(cuò)的，因?yàn)樽址膲嚎s效果一般比較明顯?，F(xiàn)如今機(jī)房?jī)?nèi)部通信動(dòng)輒萬兆網(wǎng)卡，這個(gè)流量的大小區(qū)別倒也不用太關(guān)注。
[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-fbKPk6I6-1673924951575)(…\images\image-20230116112109573.png)]
指標(biāo)類型有些監(jiān)控系統(tǒng)是不區(qū)分指標(biāo)類型的，有些會(huì)做區(qū)分。90 年代左右社區(qū)就出現(xiàn)了一款作品 RRDtool，它是一個(gè)環(huán)形數(shù)據(jù)庫(kù)，也是一個(gè)繪圖引擎，很多監(jiān)控工具都是使用 RRDtool 來存儲(chǔ)或繪制監(jiān)控趨勢(shì)圖的，比如 Cacti、MRTG、Zabbix 等等。RRDtool 還提出了數(shù)據(jù)類型的概念，支持 GAUGE、COUNTER、DERIVE、DCOUNTER、DDERIVE、ABSOLUTE 等多種數(shù)據(jù)類型。
Prometheus 生態(tài)也支持?jǐn)?shù)據(jù)類型，分為 Gauge、Counter、Histogram、Summary4 種，下面我們簡(jiǎn)單了解一下 Prometheus 的這 4 種類型。
Gauge測(cè)量值類型，可大可小，可正可負(fù)。這種類型的數(shù)據(jù)，我們通常關(guān)注的是當(dāng)前值，比如房間里的人數(shù)、隊(duì)列積壓的消息數(shù)、今年公司的收入和凈利潤(rùn)。
Counter表示單調(diào)遞增的值，比如操作系統(tǒng)自啟動(dòng)以來網(wǎng)卡接收到的所有流量包的數(shù)量。每接收到一個(gè)包，操作系統(tǒng)就會(huì)加 1，所以這個(gè)值是持續(xù)遞增的。但是操作系統(tǒng)可能會(huì)重啟，導(dǎo)致這個(gè)值出現(xiàn)重置，比如第一次是從 0 一直漲到了 239423423，然后機(jī)器重啟，新采集的數(shù)據(jù)是一些比 239423423 小很多的值，這種情況怎么辦？此時(shí) Prometheus 看到值沒有遞增，就能感知到重置的情況，會(huì)把新采集的值加上 239423423 再做計(jì)算。
Histogram直方圖類型，用于描述數(shù)據(jù)分布，最典型的應(yīng)用場(chǎng)景就是監(jiān)控延遲數(shù)據(jù)，計(jì)算 90 分位、99 分位的值。所謂的分位值，就是把一批數(shù)據(jù)從小到大排序，然后取 X% 位置的數(shù)據(jù)，90 分位就是指樣本數(shù)據(jù)第 90% 位置的值。
SummarySummary 這種類型是在客戶端計(jì)算分位值，然后把計(jì)算之后的結(jié)果推給服務(wù)端存儲(chǔ)，展示的時(shí)候直接查詢即可，不需要做很重的計(jì)算，性能大幅提升。
時(shí)序庫(kù)時(shí)序庫(kù)（Time series database）是一種專門處理時(shí)序數(shù)據(jù)的數(shù)據(jù)庫(kù) 。我們常見的數(shù)據(jù)庫(kù)中，MySQL 是關(guān)系型數(shù)據(jù)庫(kù)，Redis 是 KV 數(shù)據(jù)庫(kù)，MongoDB 是文檔數(shù)據(jù)庫(kù)，而 InfluxDB、VictoriaMetrics、M3DB 等都是時(shí)序庫(kù)，Prometheus 其實(shí)也內(nèi)置實(shí)現(xiàn)了一個(gè)時(shí)序存儲(chǔ)模塊。
時(shí)序數(shù)據(jù)時(shí)序數(shù)據(jù)大的特點(diǎn)是每一條數(shù)據(jù)都帶有時(shí)間戳，通常是單調(diào)順序，不會(huì)亂序，流式發(fā)給服務(wù)端，通常不會(huì)修改，比如指標(biāo)數(shù)據(jù)和日志數(shù)據(jù)，都是典型的時(shí)序數(shù)據(jù)。
告警 告警收斂基礎(chǔ)設(shè)施層面的故障，比如基礎(chǔ)網(wǎng)絡(luò)問題，可能會(huì)瞬間產(chǎn)生很多告警事件，形成告警風(fēng)暴，導(dǎo)致接收告警的媒介擁塞，比如手機(jī)不停接收到短信和電話呼入，沒辦法使用。這個(gè)時(shí)候，我們就要想辦法讓告警事件變少，用的方法就是告警收斂。
最典型的手段是告警聚合發(fā)送，聚合可以采用不同的維度，比如時(shí)間維度、策略維度、監(jiān)控對(duì)象維度等等。如果 100 臺(tái)機(jī)器同時(shí)報(bào)失聯(lián)，就可以合并成一條告警通知，減少打擾。
另外一個(gè)典型的收斂手段是把多個(gè)事件聚合成告警，把多個(gè)告警聚合成故障。比如某個(gè)機(jī)器的 CPU 利用率告警，監(jiān)控系統(tǒng)可能每分鐘都會(huì)產(chǎn)生一條事件，這多個(gè)事件的告警規(guī)則、監(jiān)控對(duì)象、監(jiān)控指標(biāo)都相同，所以可以收斂為一條告警。假設(shè)有 100 臺(tái)機(jī)器都告警了，其中 50 臺(tái)屬于業(yè)務(wù) A，另外 50 臺(tái)屬于業(yè)務(wù) B，我們可以按照業(yè)務(wù)來做聚合，聚合之后產(chǎn)生兩個(gè)故障，這樣就可以起到很好的收斂效果。
告警閉環(huán)閉環(huán)這個(gè)詞是個(gè)互聯(lián)網(wǎng)黑話，表示某個(gè)事情有始有終，告警怎么判斷是否閉環(huán)了呢？問題最終被解決，告警恢復(fù)，就算是閉環(huán)了。產(chǎn)品怎么設(shè)計(jì)才能保證告警閉環(huán)呢？通常來講，沒人響應(yīng)的告警能夠升級(jí)通知，告警 oncall 人員可以認(rèn)領(lǐng)告警，基本就有比較好的保障了。
《運(yùn)維監(jiān)控系統(tǒng)實(shí)戰(zhàn)筆記》 學(xué)習(xí)筆記 day2
你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購(gòu)，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧
