個人體會，希望能幫助大家~。
報警 + 消息通道 + 自愈處理，優(yōu)化監(jiān)控報警
1、報警類，可以分為灰色報警、藍色報警（重要）、紅色報警（高危）；如使用zabbix；
2、每類報警單獨一個報警群，黃色、15分鐘必須有SRE回復(fù)，紅色必須10分鐘內(nèi)回復(fù)；后臺埋點使用自動化標(biāo)記統(tǒng)計 報警與回復(fù)時間差，超期沒有人員回復(fù)跟進，直接自動電話通知相關(guān)人員，在自動電話后5分鐘未回復(fù) 處理中，那么直接后臺記錄超時；每日、周統(tǒng)計按產(chǎn)品線、或人員 統(tǒng)計總報警數(shù)、及超時數(shù)、進行考核?？梢允褂媚翅?shù)腶pi接口二次開發(fā)實現(xiàn)用戶是否恢復(fù)記錄，及自動電話通知。
3、有些異常類，報警后 + 自愈自動處理。 或 巡檢類 + 自愈自動處理。
所有報警類消息，及 回復(fù)記錄 全部自動搜集入庫，如回復(fù)信息 ，進行分類 ，如：更新，cpu 、內(nèi)存、故障、系統(tǒng)bug等 ，在一個報警時候，通過消息中心發(fā)到相關(guān)群里，然后后面加上最近 1天、3 天、7天出現(xiàn)次數(shù)； 及 之前此類報警的 人員回復(fù)的信息數(shù)據(jù)展示，如 之前人員回復(fù) 更新 60%， 內(nèi)存30%； 推薦 高值操作。
4、報警類的回復(fù)統(tǒng)計，進行分類后查看每日、周 的排名情況 ，若是更新類報警較多，那么直接在每次更新時候，通過屏蔽消息通道接口 屏蔽此類更新相關(guān)的報警（屏蔽5分鐘、10分鐘自定），這樣更新時候 就不報警到 相關(guān)報警群里了，但是 監(jiān)控工具如zabbix還要繼續(xù)展示出來。減少了更新導(dǎo)致的報警；
5、因為自愈、自動處理，給隱瞞了部分問題。
”如果一個機器經(jīng)常出現(xiàn) CPU_IDLE 報警，那么我們可以將現(xiàn)在的監(jiān)控策略進行調(diào)整，比如說，以前 5min 內(nèi)出現(xiàn) 5 次就報警，現(xiàn)在可以調(diào)整為 10min 內(nèi)出現(xiàn) 20 次再報警，或者直接刪除這個報警策略，或者將報警短信調(diào)整為報警郵件，或者各種類似的手段。但這個機器為什么出現(xiàn) CPU_IDLE 報警，卻并沒有人去關(guān)注，更別提解決了“
每日、周統(tǒng)計 自愈處理的名稱、次數(shù)； 按人員、 部門業(yè)務(wù)線 進行維度統(tǒng)計，某個自愈較多的，就要優(yōu)化程序或其他問題，來減少自愈次數(shù)；某個機器突然出現(xiàn)同類報警數(shù)增多，有可能就有問題的預(yù)兆，報警類較多，直接有報警儀表盤展示各類報警曲線，通過曲線也發(fā)現(xiàn)問題。~~ 后期報警少了后，再返回來跟進為啥能引起自愈的問題，如磁盤報警一直報警就自動處理，那么某個時間自愈較多了是否代碼debug日志了或者 有異常了導(dǎo)致日志多，導(dǎo)致頻繁清理？
參考：
https://www.infoq.cn/article/1AofGj2SvqrjW3BKwXlN?utm_source=infoq&utm_medium=article&utm_campaign=newinfoq&utm_content=language2019&utm_term=701
擺脫無效報警？十年運維監(jiān)控報警優(yōu)化經(jīng)驗總結(jié)
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
