go語言抓包工具的網(wǎng)站：
目前創(chuàng)新互聯(lián)已為上1000+的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、思禮網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
1，sql2go網(wǎng)。
用于將 sql 語句轉(zhuǎn)換為 golang 的 struct. 使用 ddl 語句即可。
例如對于創(chuàng)建表的語句: show create table xxx. 將輸出的語句，直接粘貼進(jìn)去就行。
2，toml2go網(wǎng)。
用于將編碼后的 toml 文本轉(zhuǎn)換問 golang 的 struct。
3，curl2go網(wǎng)。
用來將 curl 命令轉(zhuǎn)化為具體的 golang 代碼。
4，json2go網(wǎng)。
用于將 json 文本轉(zhuǎn)換為 struct。
5，mysql 轉(zhuǎn) ES 工具網(wǎng)站。
模擬模板的工具，在支持泛型之前，可以考慮使用。7)查看某一個(gè)庫的依賴情況，類似于 go list 功能。
GO語言簡介：
Go（又稱?Golang）是?Google?的 Robert Griesemer，Rob Pike 及 Ken Thompson 開發(fā)的一種靜態(tài)強(qiáng)類型、編譯型語言。
Go 語言語法與?C?相近，但功能上有：內(nèi)存安全，GC（垃圾回收），結(jié)構(gòu)形態(tài)及 CSP-style?并發(fā)計(jì)算。
當(dāng)前有兩個(gè)Go編譯器分支，分別為官方編譯器gc和gccgo。官方編譯器在初期使用C寫成，后用Go重寫從而實(shí)現(xiàn)自舉。Gccgo是一個(gè)使用標(biāo)準(zhǔn)GCC作為后端的Go編譯器。
官方編譯器支持跨平臺編譯（但不支持CGO），允許將源代碼編譯為可在目標(biāo)系統(tǒng)、架構(gòu)上執(zhí)行的二進(jìn)制文件。
網(wǎng)上有很多講解限頻原理以及限頻原因的，限頻常用在接口、服務(wù)的流量、并發(fā)上，主要是為了合理使用后端資源，防止后端被壓垮，雪崩等等。
這里使用使用go的ring（環(huán)形隊(duì)列）實(shí)現(xiàn)滑動窗口
另外起一個(gè)終端，用golang的boom來做壓測。要提前安裝boom工具
進(jìn)行壓測試：
查看其中數(shù)組可以知道每一秒此時(shí)滑動窗口的限頻值，以及變化。
可以看出壓測試服務(wù)在12.6秒進(jìn)行了300次http請求其中有23次正確響應(yīng)成功，限頻測試ok
任何一款采集 agent 進(jìn)行公司內(nèi)全面推廣前都需要進(jìn)行性能測試以及資源限制功能測試，以保證：
對于 Filebeat 這款號稱 golang 編寫，性能強(qiáng)于 logstahs-forwarder 的采集 agent，我們也需要這樣進(jìn)行嚴(yán)謹(jǐn)對待。
硬件選擇虛擬機(jī)，6cores + 16GB Mem + 175GB SSD + 1000Mbps 帶寬；
Filebeat 配置，輸出到 console：
Filebeat 配置，輸出到 Kafka：
我們開啟 Filebeat 的 6060 端口，并使用 python 腳本進(jìn)行指標(biāo)采集。
expvar_rates.py ，每秒統(tǒng)計(jì)出 Filebeat 指標(biāo)，主要看：
Step1. 啟動 Filebeat (172.16.134.8)
Step2. 啟動統(tǒng)計(jì)腳本
Step3. 啟動 tsar
Step4. 寫入壓測數(shù)據(jù)(6個(gè)進(jìn)程寫入，6千萬條日志)
在 6 進(jìn)程數(shù)據(jù)寫入日志文件時(shí)，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 0.8 cores。
在 6 進(jìn)程數(shù)據(jù)寫入日志文件后，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 1.6 cores。
小結(jié)：
測試步驟和上述一致，區(qū)別在于配置文件需要輸出到 Kafka。
在 6 進(jìn)程數(shù)據(jù)寫入日志文件時(shí)，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 0.7~0.8 cores。
在 6 進(jìn)程數(shù)據(jù)寫入日志文件后，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 2.0 cores。
小結(jié)：
測試步驟和上述一致，區(qū)別在于配置文件需要輸出到 Kafka。
和上述步驟不同的是，啟動 Filebeat 時(shí)需要 systemd 限制 CPU、句柄數(shù)，根據(jù)之前的理論，句柄數(shù)限制在 100 已經(jīng)非常夠用，CPU 限制在 1 core。
修改 /usr/lib/systemd/system/filebeat.service ：
執(zhí)行 reload：
對 CPU 進(jìn)行限制：
確認(rèn)是否限制成功：
有如下輸出表示OK：
在 6 進(jìn)程數(shù)據(jù)寫入日志文件時(shí)，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 0.7 ~ 0.8 cores。
在 6 進(jìn)程數(shù)據(jù)寫入日志文件后，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 1.0 cores，限制生效。
小結(jié)：
在 6 進(jìn)程數(shù)據(jù)寫入日志文件時(shí)，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 0.75 ~ 0.9 cores。
在 6 進(jìn)程數(shù)據(jù)寫入日志文件后，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 1.0 cores，限制生效。
小結(jié)：
在 6 進(jìn)程數(shù)據(jù)寫入日志文件時(shí)，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 0.7 ~ 0.75 cores。
在 6 進(jìn)程數(shù)據(jù)寫入日志文件后，我們在開啟 python 統(tǒng)計(jì)腳本的窗口得到如下穩(wěn)定的統(tǒng)計(jì)數(shù)據(jù)：
我們在 tsar 看到的統(tǒng)計(jì)數(shù)據(jù)為：
我們在 top 中可以看到 Filebeat 大致占據(jù)了 0.9 cores，未達(dá)到限制。
小結(jié)：
A. FB 全力采集 247B 數(shù)據(jù)(真實(shí)環(huán)境類似日志長度)，速率為 ~ 40K/s，CPU 開銷為 2 cores；
B. FB 在 CPU 限制 1 cores 情況下，采集 247B 數(shù)據(jù)速率為 ~ 20K/s，可以認(rèn)為單核采集速率為 ~ 20K/s/core；
C. 日志單行數(shù)據(jù)越大，吞吐越小，5KB 每行已經(jīng)非?？鋸垼词谷绱?，沒有壓縮的情況下帶寬消耗 35MBps，gzip 壓縮率一般為 0.3~0.4，占用帶寬為 10.5~14MBps，對于千兆網(wǎng)卡來說壓力較?。?/p>
可以去DELVE官網(wǎng)進(jìn)行下載。
關(guān)于delve工具的介紹，這里簡單給大家介紹一下。
delve在go項(xiàng)目及應(yīng)用的開發(fā)中可以用來追蹤程序中的異常代碼，也可以通過打日志的方式追查問題，但是更重要也是非常厲害的一點(diǎn)，就是delve可以直接分析程序執(zhí)行的情況。這一點(diǎn)在后期或線上的問題排查中無疑是提供了一個(gè)非常大的便捷。
Go（又稱?Golang）是?Google?的 Robert Griesemer，Rob Pike 及 Ken Thompson 開發(fā)的一種靜態(tài)強(qiáng)類型、編譯型語言。
Go 語言語法與?C?相近，但功能上有：內(nèi)存安全，GC（垃圾回收），結(jié)構(gòu)形態(tài)及 CSP-style?并發(fā)計(jì)算。
Go的語法接近C語言，但對于變量的聲明有所不同。Go支持垃圾回收功能。Go的并行模型是以東尼·霍爾的通信順序進(jìn)程（CSP）為基礎(chǔ)。
采取類似模型的其他語言包括Occam和Limbo，但它也具有Pi運(yùn)算的特征，比如通道傳輸。在1.8版本中開放插件（Plugin）的支持，這意味著現(xiàn)在能從Go中動態(tài)加載部分函數(shù)。
Delve常用命令
命令功能：
dlv attach后面跟 pid，用來Debug編譯好的Golang程序。
dlv core用于 coredump。
dlv debug后面跟要調(diào)試的 go 文件，進(jìn)入 Debug。
dlv testDebug test 函數(shù)。
語料庫文件以特殊格式編碼。這是種子語料庫和生成語料庫的相同格式。
下面是一個(gè)語料庫文件的例子：
第一行用于通知模糊引擎文件的編碼版本。雖然目前沒有計(jì)劃未來版本的編碼格式，但設(shè)計(jì)必須支持這種可能性。
下面的每一行都是構(gòu)成語料庫條目的值，如果需要，可以直接復(fù)制到 Go 代碼中。
在上面的示例中，我們在 a []byte后跟一個(gè)int64。這些類型必須按順序與模糊測試參數(shù)完全匹配。這些類型的模糊目標(biāo)如下所示：
指定您自己的種子語料庫值的最簡單方法是使用該 (*testing.F).Add方法。在上面的示例中，它看起來像這樣：
但是，您可能有較大的二進(jìn)制文件，您不希望將其作為代碼復(fù)制到您的測試中，而是作為單獨(dú)的種子語料庫條目保留在 testdata/fuzz/{FuzzTestName} 目錄中。golang.org/x/tools/cmd/file2fuzz 上的file2fuzz工具可用于將這些二進(jìn)制文件轉(zhuǎn)換為為[]byte.
要使用此工具：
語料庫條目：語料庫 中的一個(gè)輸入，可以在模糊測試時(shí)使用。這可以是特殊格式的文件，也可以是對 (*testing.F).Add。
覆蓋指導(dǎo)： 一種模糊測試方法，它使用代碼覆蓋范圍的擴(kuò)展來確定哪些語料庫條目值得保留以備將來使用。
失敗的輸入：失敗的輸入是一個(gè)語料庫條目，當(dāng)針對 模糊目標(biāo)運(yùn)行時(shí)會導(dǎo)致錯(cuò)誤或恐慌。
fuzz target： 模糊測試的目標(biāo)功能，在模糊測試時(shí)對語料庫條目和生成的值執(zhí)行。它通過將函數(shù)傳遞給 (*testing.F).Fuzz實(shí)現(xiàn)。
fuzz test： 測試文件中的一個(gè)被命名為func FuzzXxx(*testing.F)的函數(shù)，可用于模糊測試。
fuzzing： 一種自動化測試，它不斷地操縱程序的輸入，以發(fā)現(xiàn)代碼可能容易受到的錯(cuò)誤或漏洞等問題。
fuzzing arguments： 將傳遞給 模糊測試目標(biāo)的參數(shù)，并由mutator進(jìn)行變異。
fuzzing engine： 一個(gè)管理fuzzing的工具，包括維護(hù)語料庫、調(diào)用mutator、識別新的覆蓋率和報(bào)告失敗。
生成的語料庫： 由模糊引擎隨時(shí)間維護(hù)的語料庫，同時(shí)模糊測試以跟蹤進(jìn)度。它存儲在$GOCACHE/fuzz 中。這些條目僅在模糊測試時(shí)使用。
mutator： 一種在模糊測試時(shí)使用的工具，它在將語料庫條目傳遞給模糊目標(biāo)之前隨機(jī)操作它們。
package： 同一目錄下編譯在一起的源文件的集合。
種子語料庫： 用戶提供的用于模糊測試的語料庫，可用于指導(dǎo)模糊引擎。它由 f.Add 在模糊測試中調(diào)用提供的語料庫條目以及包內(nèi) testdata/fuzz/{FuzzTestName} 目錄中的文件組成。這些條目默認(rèn)使用go test運(yùn)行，無論是否進(jìn)行模糊測試。
測試文件： 格式為 xxx_test.go 的文件，可能包含測試、基準(zhǔn)、示例和模糊測試。
漏洞： 代碼中的安全敏感漏洞，可以被攻擊者利用。
goframe線程溢出可按照以下方法解決：
1、一臺較好的環(huán)境測試機(jī)，單臺運(yùn)行無污染。
2、壓測工具，無論服務(wù)是http還是websocket服務(wù)，都必須準(zhǔn)備好壓測工具模擬最真實(shí)的用戶場景。
3、將master引入net/http/pprof包，通過http訪問獲得goroutine、heap信息。
重慶分公司
重慶分公司
