logstash使用date處理時(shí)間有幾種方式?針對這個問題,今天小編總結(jié)了這篇文章,希望能幫助更多想解決這個問題的朋友找到更加簡單易行的辦法。
創(chuàng)新互聯(lián)公司是一家專業(yè)提供瑤海企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站制作、做網(wǎng)站、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為瑤海眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站制作公司優(yōu)惠進(jìn)行中。1、第一種,直接在配置文件中自定義時(shí)間格式
這是tomcat配置文件中的一段日志時(shí)間配置,按照這樣的配置,那么輸出的日志是這樣子的:
然后你繼續(xù)在logstash中這樣子配置
此時(shí)logstash就不會報(bào)"_dateparsefailed"錯誤了。
這種形式在nginx、apache等web服務(wù)器中配置是最好的,也比較方便分析。
2、第二種,帶有中括號的(其實(shí)跟上面是一回事)
日志本身輸出是這樣子的
[07/Feb/2018:16:24:19 +0800]
帶有一對中括號
那么在grok插件中這樣子定義就行:
\[%{HTTPDATE:timestamp}\]
date插件可以直接轉(zhuǎn)換,如下:
最后的效果是這樣子的
這樣子也不會報(bào)錯
3、ISO8601形式
在日志文件中原生日志是這樣子的:
2019-03-19 13:08:07.782
重點(diǎn)是后面的”.782“,后面附加以毫秒為單位的。
那么grok插件中可以這樣子定義匹配的規(guī)則:
此時(shí)date插件可以這樣子定義:
date { match => [ "access_time","MMM d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601"] }
上面的形式?jīng)]有寫錯,直接復(fù)制粘貼到配置文件即可
最后匹配如下:
這樣子也不會報(bào)”_dateparsefailed“錯誤。
最后附加一張時(shí)間匹配規(guī)則表,平時(shí)可做參考
4、根據(jù)時(shí)間戳來轉(zhuǎn)換數(shù)據(jù)。
在mysql的慢查詢?nèi)罩局惺占瘯r(shí),由于某些情況下只能根據(jù)時(shí)間戳來確定時(shí)間,那么我們就必須使用轉(zhuǎn)換的方案了。主要是將時(shí)間戳轉(zhuǎn)換成UNIX風(fēng)格的時(shí)間,比如:
mysql慢查詢?nèi)罩镜臅r(shí)間是這樣子的:
那么我們在logstash的配置文件中使用的date插件這樣子來寫:
這樣子就可以匹配成功了。
上面的“timestamp_mysql”是我在grok插件中的匹配后的時(shí)間賦值,比如:
%{NUMBER:timestamp_mysql};
時(shí)間日志:
2018-02-09T10:57:42+08:00
此時(shí)在grok中可以這么寫:
grok { match => { "message" ; "{TIMESTAMP_ISO8601:localtime} }
而在時(shí)間轉(zhuǎn)存到@timestamp有兩種寫法可以供使用
date { match => ["localtime", "yyyy-MM-dd'T'HH:mm:ssZZ"] target => "@timestamp" }
或者是
date { match => ["localtime", "ISO8601"] }
都可以實(shí)現(xiàn)ISO8601時(shí)間的匹配格式
看完上述內(nèi)容,你們掌握logstash使用date處理時(shí)間的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。