filebeat采集日志到kafka配置及使用

1、由于我的預(yù)期目標(biāo)是將filebeat收集的日志發(fā)送到kafka，所以配置output就選擇了kafka。讀者可根據(jù)自己的使用場景，配置output。例子中的配置將對/var/log目錄下所有以.log結(jié)尾的文件進(jìn)行采集。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：國際域名空間、網(wǎng)絡(luò)空間、營銷軟件、網(wǎng)站建設(shè)、陽西網(wǎng)站維護(hù)、網(wǎng)站推廣。

2、filebeat監(jiān)聽兩個不同文件，配置了不同的topic。其中topic：%{[type]} ，topic值為input中配置的document_type。kafka中收集到日志如下格式：只有message中才為寫入到，其余字段為filebeat攜帶的元數(shù)據(jù)。

3、使用filebeat收集日志，先轉(zhuǎn)發(fā)到beat端的logstash1，然后logstash1轉(zhuǎn)發(fā)到kafka，然后再由logstash2從kafka讀取寫到elasticsearch。

Golang項目中引入yaml.v2配置文件

1、最好使用yaml struct標(biāo)簽創(chuàng)建顯式映射。 我僅在示例中省略了它們，以說明未指定它們時的行為。將struct寫入YAML文件：yaml.Marshal將interface {}作為參數(shù)。 可以傳遞任何Go值，并將其類型包裝到interface {}中。

2、問題的關(guān)鍵在于GOPATH的設(shè)置，import是必須的，但是還有個條件就是要把自定義包的路徑加入到GOPATH中?？梢允褂胓o env查看一下設(shè)置。 do it ~~~，開始可能會混亂，多試幾次就好了。針對GO 的 2018年11月的最新版本。。

3、單擊左窗格中的ToFile按鈕，將出現(xiàn)一個窗口。設(shè)置新文件名和位置。選擇YAML文件作為文件類型。添加并選擇了一個綠色輸出項。YAML文件會立即創(chuàng)建，無需“運行”任何內(nèi)容您可以在右側(cè)窗格中更改YAML文件編碼。

4、讓我們在GOPATH之外的首選位置為go項目創(chuàng)建文件夾 初始化模塊 使用Go模塊初始化項目名稱。這將創(chuàng)建模塊配置文件go.mod，其中包含模塊名稱和版本。

consul入門篇

安裝Consul后必須運行Agent，可以選擇服務(wù)器或客戶端模式。每個數(shù)據(jù)中心至少有一個服務(wù)器（推薦3~5個服務(wù)器集群）。

以Server模式運行的Consul Agent節(jié)點用于維護(hù)Consul集群的狀態(tài)。官方建議每個Consul Cluster至少有 3個或以上的運行在Server Mode的Agent，Client節(jié)點不限 。

//localName表示元素的本地名稱(不帶前綴)；qName表示元素的限定名(帶前綴)；attrs表示元素的屬性集合。