現(xiàn)在全鏈路越來(lái)越火，各大廠商也紛紛推出了自己的全鏈路壓測(cè)測(cè)試方案。特別是針對(duì)全鏈路壓測(cè)流量模型，各家方案都有所不同。最近我看了一些這方面的資料，有一些感悟。分享給大家。
創(chuàng)新互聯(lián)公司是一家專注于成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)與策劃設(shè)計(jì),福安網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十載,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:福安等地區(qū)。福安做網(wǎng)站價(jià)格咨詢:18980820575
全鏈路壓測(cè)流量模型的梳理呢，這里就先不講了，各家公司自有司情在。因?yàn)橹饕侨溌穳簻y(cè)模型的實(shí)現(xiàn)，其實(shí)實(shí)現(xiàn)也對(duì)應(yīng)了流量模型的梳理結(jié)果。
業(yè)界常用的三種方一種：是基于業(yè)務(wù)模型的實(shí)現(xiàn)，一種是基于真實(shí)流量的錄制回放，最后一種是灰度分流。
這個(gè)是一種比較常用的方式。首先要對(duì)公司業(yè)務(wù)模型進(jìn)行梳理，也就是說(shuō)對(duì)公司的業(yè)務(wù)鏈路進(jìn)行梳理。這里的業(yè)務(wù)鏈路可能會(huì)比較復(fù)雜，不是像很多案例中到的了就非常流行暢的一條鏈路，中間很有可能會(huì)出現(xiàn)各種各樣的支路。如果圖圖形化展示的話，某一條鏈路應(yīng)該就是一個(gè)樹(shù)形結(jié)構(gòu)。樹(shù)形結(jié)構(gòu)的開(kāi)始是用戶的入口頁(yè)一般就是入口頁(yè)面的登陸，或者說(shuō)是首頁(yè)接口。樹(shù)形結(jié)構(gòu)的右側(cè)是用戶的出口，這里根據(jù)業(yè)務(wù)模型不同，用戶的出口會(huì)非常的多，所以大多數(shù)來(lái)時(shí)候來(lái)講，這就是一個(gè)分叉的樹(shù)形結(jié)構(gòu)。
要對(duì)這樣的流量模型進(jìn)行實(shí)現(xiàn)。是比較困難的。首先要梳理出這樣的業(yè)務(wù)模型，就不太容易，再加上接口的相互調(diào)用啊，數(shù)據(jù)之間的相互依賴又可能是復(fù)雜程度增加一個(gè)量級(jí)。所以一般的實(shí)現(xiàn)方式就是做歸攏。將比較復(fù)雜的樹(shù)形結(jié)構(gòu)簡(jiǎn)單化，或者干脆將以個(gè)業(yè)務(wù)聯(lián)絡(luò)分解成n個(gè)列有鏈路。然后分別實(shí)現(xiàn)。最終將流量匯聚，就變成了整個(gè)業(yè)務(wù)鏈路的流量模型實(shí)現(xiàn)。
在業(yè)務(wù)模型實(shí)現(xiàn)這個(gè)方向，各家都有不同的實(shí)現(xiàn)方式啊，基本上就分為工具以及腳本實(shí)現(xiàn)。我自己不怎么用工具做過(guò)接口的性能測(cè)試，全都是使用java和groovy腳本去實(shí)現(xiàn)的。首先，我會(huì)實(shí)現(xiàn)一個(gè)基于接口的業(yè)務(wù)測(cè)試框架，將每一個(gè)接口封裝成一個(gè)方法。接口的參數(shù)即是這個(gè)方法的參數(shù)。然后將每一個(gè)用戶封裝成一個(gè)對(duì)象。將用戶的各種信息變成這個(gè)對(duì)象的屬性。然后用戶在請(qǐng)求不同的接口的時(shí)候?qū)τ脩舻膶傩赃M(jìn)行賦值這樣就達(dá)到了一個(gè)參數(shù)傳遞的目的。然后通過(guò)調(diào)用不同的方法，我們就可以實(shí)現(xiàn)對(duì)不同接口的請(qǐng)求。通過(guò)控制參數(shù)或者說(shuō)接口請(qǐng)求的頻率，我們就可以達(dá)到控制當(dāng)前用戶。在整個(gè)業(yè)務(wù)鏈的走向。
基于流量錄制和回放，這個(gè)是最容易實(shí)現(xiàn)的方式。也是最容易貼近真實(shí)情況的方式。哦，我接觸到的主要有一個(gè)回放模型，就是用golang語(yǔ)言寫(xiě)的goreply。go語(yǔ)言的性能是非常好的，用于性能測(cè)試足夠滿足用戶的需求。大多數(shù)公司都會(huì)選擇在原生引擎的基礎(chǔ)上做一些封裝。然后對(duì)對(duì)業(yè)務(wù)進(jìn)行一些兼容，最主要的還是適配流量來(lái)源。通常流量的來(lái)源是通過(guò)日志文件來(lái)獲取的，但是我看行業(yè)內(nèi)也有通過(guò)一些固定的流量存儲(chǔ)分析引擎去完成。這里的技術(shù)我不是太熟，也就不多分享啦。
我覺(jué)得基于流量錄制回放這種模式有一個(gè)比較難以解決的問(wèn)題：流量的不可見(jiàn)性。一般來(lái)說(shuō)，錄制流量會(huì)非常大。介于幾十萬(wàn)上百萬(wàn)之間。這么規(guī)模大的流量，是很難對(duì)他進(jìn)行可視化的。常遇到的一個(gè)問(wèn)題，就是對(duì)于一些請(qǐng)求量非常小的接口。錄制的時(shí)候可能會(huì)錄丟。還有一種就是錄制流量的時(shí)間范圍不會(huì)太廣。那么錄制出來(lái)的流量文件只能反映錄制時(shí)的流量模型，并不能反映其他錄制時(shí)間段的流量模型。如果某個(gè)服務(wù)的流量是根據(jù)時(shí)間變化的。那么就需要對(duì)多個(gè)時(shí)間段都錄制流量，然后進(jìn)行合并。由于流量的不可見(jiàn)性，所以對(duì)流量的模型進(jìn)行分析，就會(huì)顯得比較麻煩。
這是我在某個(gè)會(huì)議上看到大佬分享的一個(gè)方案。灰度大家聽(tīng)的可能比較多的是灰度發(fā)布。就是將服務(wù)或者app更新范圍限制在某些一批人，或者說(shuō)某個(gè)地理范圍。這里講的灰度分流，其實(shí)核心上差不多，就是將線上的一部分流量轉(zhuǎn)到某些機(jī)器上。以實(shí)現(xiàn)對(duì)這些機(jī)器所在服務(wù)的一些壓測(cè)。這種方案。基于線上流量完成，所以幾乎不需要測(cè)試。投入過(guò)多的資源進(jìn)行開(kāi)發(fā)實(shí)現(xiàn)。這種方案有點(diǎn)兒基于業(yè)務(wù)模型和基于流量錄制取了一個(gè)中間態(tài)。既能保證流量的真實(shí)有效性。又可以避免開(kāi)發(fā)測(cè)試腳本帶來(lái)的負(fù)擔(dān)。
這種方式對(duì)于公司的架構(gòu)，主或者說(shuō)是分流的實(shí)現(xiàn)來(lái)說(shuō)，技術(shù)難度是比較高的。因?yàn)樗玫娜际怯脩舻恼鎸?shí)數(shù)據(jù)，所以一旦出現(xiàn)問(wèn)題的話，這個(gè)問(wèn)題影響范圍不太可控，而且比較嚴(yán)重。對(duì)于接收灰度分流流量的機(jī)器來(lái)說(shuō)，壓測(cè)流量完全真實(shí)。但是他也無(wú)法避免基于流量錄制，回放同樣的問(wèn)題。就是流量的不可見(jiàn)性以及流量與時(shí)間可能存在于一個(gè)關(guān)聯(lián)關(guān)系并不是線性的。甚至這一點(diǎn)流量的灰度分流還不如流量的錄制與回放。我想這也是。我身邊接觸到的公司，都沒(méi)有采用這種方案的原因吧。
基本設(shè)計(jì)思路：
類型轉(zhuǎn)換、類型斷言、動(dòng)態(tài)派發(fā)。iface，eface。
反射對(duì)象具有的方法：
編譯優(yōu)化：
內(nèi)部實(shí)現(xiàn)：
實(shí)現(xiàn) Context 接口有以下幾個(gè)類型（空實(shí)現(xiàn)就忽略了）：
互斥鎖的控制邏輯：
設(shè)計(jì)思路：
（以上為寫(xiě)被讀阻塞，下面是讀被寫(xiě)阻塞）
總結(jié)，讀寫(xiě)鎖的設(shè)計(jì)還是非常巧妙的：
設(shè)計(jì)思路：
WaitGroup 有三個(gè)暴露的函數(shù):
部件：
設(shè)計(jì)思路：
結(jié)構(gòu)：
Once 只暴露了一個(gè)方法：
實(shí)現(xiàn)：
三個(gè)關(guān)鍵點(diǎn)：
細(xì)節(jié)：
讓多協(xié)程任務(wù)的開(kāi)始執(zhí)行時(shí)間可控（按順序或歸一）。（Context 是控制結(jié)束時(shí)間）
設(shè)計(jì)思路： 通過(guò)一個(gè)鎖和內(nèi)置的 notifyList 隊(duì)列實(shí)現(xiàn)，Wait() 會(huì)生成票據(jù)，并將等待協(xié)程信息加入鏈表中，等待控制協(xié)程中發(fā)送信號(hào)通知一個(gè)（Signal()）或所有（Boardcast()）等待者（內(nèi)部實(shí)現(xiàn)是通過(guò)票據(jù)通知的）來(lái)控制協(xié)程解除阻塞。
暴露四個(gè)函數(shù)：
實(shí)現(xiàn)細(xì)節(jié)：
部件：
包： golang.org/x/sync/errgroup
作用：開(kāi)啟 func() error 函數(shù)簽名的協(xié)程，在同 Group 下協(xié)程并發(fā)執(zhí)行過(guò)程并收集首次 err 錯(cuò)誤。通過(guò) Context 的傳入，還可以控制在首次 err 出現(xiàn)時(shí)就終止組內(nèi)各協(xié)程。
設(shè)計(jì)思路：
結(jié)構(gòu)：
暴露的方法：
實(shí)現(xiàn)細(xì)節(jié)：
注意問(wèn)題：
包： "golang.org/x/sync/semaphore"
作用：排隊(duì)借資源（如錢，有借有還）的一種場(chǎng)景。此包相當(dāng)于對(duì)底層信號(hào)量的一種暴露。
設(shè)計(jì)思路：有一定數(shù)量的資源 Weight，每一個(gè) waiter 攜帶一個(gè) channel 和要借的數(shù)量 n。通過(guò)隊(duì)列排隊(duì)執(zhí)行借貸。
結(jié)構(gòu)：
暴露方法：
細(xì)節(jié)：
部件：
細(xì)節(jié)：
包： "golang.org/x/sync/singleflight"
作用：防擊穿。瞬時(shí)的相同請(qǐng)求只調(diào)用一次，response 被所有相同請(qǐng)求共享。
設(shè)計(jì)思路：按請(qǐng)求的 key 分組（一個(gè) *call 是一個(gè)組，用 map 映射存儲(chǔ)組），每個(gè)組只進(jìn)行一次訪問(wèn)，組內(nèi)每個(gè)協(xié)程會(huì)獲得對(duì)應(yīng)結(jié)果的一個(gè)拷貝。
結(jié)構(gòu)：
邏輯：
細(xì)節(jié)：
部件：
如有錯(cuò)誤，請(qǐng)批評(píng)指正。
使用go語(yǔ)言的好處: go語(yǔ)言的設(shè)計(jì)是務(wù)實(shí)的, go在針對(duì)并發(fā)上進(jìn)行了優(yōu)化, 并且支持大規(guī)模高并發(fā), 又由于單一的碼格式, 相比于其他語(yǔ)言更具有可讀性, 在垃圾回收上比java和Python更有效, 因?yàn)樗呛统绦蛲瑫r(shí)執(zhí)行的.
1. 進(jìn)程, 線程, 協(xié)程的區(qū)別, 協(xié)程的優(yōu)勢(shì)
2. 講一下GMP模型(重點(diǎn))
3. Go的GC, 混合寫(xiě)屏障(重點(diǎn))
4. go的Slice和數(shù)組的區(qū)別, slice的擴(kuò)容原理(重點(diǎn))
5. 講一下channel,實(shí)現(xiàn)原理(重點(diǎn))
6. 講一下Go的Map的實(shí)現(xiàn)原理, 是否線程安全, 如何實(shí)現(xiàn)安全(重點(diǎn))
7. new 和 make 的區(qū)別
8. 說(shuō)一下內(nèi)存逃逸
9. 函數(shù)傳指針和傳值有什么區(qū)別
10. goroutine之間的通信方式
11. 測(cè)試是怎么做的(單元測(cè)試, 壓力測(cè)試)
12. 堆和棧的區(qū)別
語(yǔ)料庫(kù)文件以特殊格式編碼。這是種子語(yǔ)料庫(kù)和生成語(yǔ)料庫(kù)的相同格式。
下面是一個(gè)語(yǔ)料庫(kù)文件的例子：
第一行用于通知模糊引擎文件的編碼版本。雖然目前沒(méi)有計(jì)劃未來(lái)版本的編碼格式，但設(shè)計(jì)必須支持這種可能性。
下面的每一行都是構(gòu)成語(yǔ)料庫(kù)條目的值，如果需要，可以直接復(fù)制到 Go 代碼中。
在上面的示例中，我們?cè)?a []byte后跟一個(gè)int64。這些類型必須按順序與模糊測(cè)試參數(shù)完全匹配。這些類型的模糊目標(biāo)如下所示：
指定您自己的種子語(yǔ)料庫(kù)值的最簡(jiǎn)單方法是使用該 (*testing.F).Add方法。在上面的示例中，它看起來(lái)像這樣：
但是，您可能有較大的二進(jìn)制文件，您不希望將其作為代碼復(fù)制到您的測(cè)試中，而是作為單獨(dú)的種子語(yǔ)料庫(kù)條目保留在 testdata/fuzz/{FuzzTestName} 目錄中。golang.org/x/tools/cmd/file2fuzz 上的file2fuzz工具可用于將這些二進(jìn)制文件轉(zhuǎn)換為為[]byte.
要使用此工具：
語(yǔ)料庫(kù)條目：語(yǔ)料庫(kù) 中的一個(gè)輸入，可以在模糊測(cè)試時(shí)使用。這可以是特殊格式的文件，也可以是對(duì) (*testing.F).Add。
覆蓋指導(dǎo)： 一種模糊測(cè)試方法，它使用代碼覆蓋范圍的擴(kuò)展來(lái)確定哪些語(yǔ)料庫(kù)條目值得保留以備將來(lái)使用。
失敗的輸入：失敗的輸入是一個(gè)語(yǔ)料庫(kù)條目，當(dāng)針對(duì) 模糊目標(biāo)運(yùn)行時(shí)會(huì)導(dǎo)致錯(cuò)誤或恐慌。
fuzz target： 模糊測(cè)試的目標(biāo)功能，在模糊測(cè)試時(shí)對(duì)語(yǔ)料庫(kù)條目和生成的值執(zhí)行。它通過(guò)將函數(shù)傳遞給 (*testing.F).Fuzz實(shí)現(xiàn)。
fuzz test： 測(cè)試文件中的一個(gè)被命名為func FuzzXxx(*testing.F)的函數(shù)，可用于模糊測(cè)試。
fuzzing： 一種自動(dòng)化測(cè)試，它不斷地操縱程序的輸入，以發(fā)現(xiàn)代碼可能容易受到的錯(cuò)誤或漏洞等問(wèn)題。
fuzzing arguments： 將傳遞給 模糊測(cè)試目標(biāo)的參數(shù)，并由mutator進(jìn)行變異。
fuzzing engine： 一個(gè)管理fuzzing的工具，包括維護(hù)語(yǔ)料庫(kù)、調(diào)用mutator、識(shí)別新的覆蓋率和報(bào)告失敗。
生成的語(yǔ)料庫(kù)： 由模糊引擎隨時(shí)間維護(hù)的語(yǔ)料庫(kù)，同時(shí)模糊測(cè)試以跟蹤進(jìn)度。它存儲(chǔ)在$GOCACHE/fuzz 中。這些條目?jī)H在模糊測(cè)試時(shí)使用。
mutator： 一種在模糊測(cè)試時(shí)使用的工具，它在將語(yǔ)料庫(kù)條目傳遞給模糊目標(biāo)之前隨機(jī)操作它們。
package： 同一目錄下編譯在一起的源文件的集合。
種子語(yǔ)料庫(kù)： 用戶提供的用于模糊測(cè)試的語(yǔ)料庫(kù)，可用于指導(dǎo)模糊引擎。它由 f.Add 在模糊測(cè)試中調(diào)用提供的語(yǔ)料庫(kù)條目以及包內(nèi) testdata/fuzz/{FuzzTestName} 目錄中的文件組成。這些條目默認(rèn)使用go test運(yùn)行，無(wú)論是否進(jìn)行模糊測(cè)試。
測(cè)試文件： 格式為 xxx_test.go 的文件，可能包含測(cè)試、基準(zhǔn)、示例和模糊測(cè)試。
漏洞： 代碼中的安全敏感漏洞，可以被攻擊者利用。
之前寫(xiě)過(guò)了Go語(yǔ)言gorm框架MySQL實(shí)踐，其中對(duì)gorm框架在操作MySQL的各種基礎(chǔ)實(shí)踐，下面分享一下如何使用gorm框架對(duì)MySQL直接進(jìn)行性能測(cè)試的簡(jiǎn)單實(shí)踐。
這里我使用了一個(gè)原始的Go語(yǔ)言版本的 FunTester 測(cè)試框架，現(xiàn)在只有一個(gè)基本的方法，實(shí)在是因?yàn)镚o語(yǔ)言特性太強(qiáng)了?？蚣茉O(shè)計(jì)的主要思路之一就是利用Go語(yǔ)言的閉包和方法參數(shù)特性，將一個(gè) func() 當(dāng)做性能測(cè)試的主題，通過(guò)不斷運(yùn)行這個(gè) func() 來(lái)實(shí)現(xiàn)性能測(cè)試。當(dāng)然還有另外一個(gè)思路就是運(yùn)行一個(gè)多線程任務(wù)類，類似 Java 版本的 com.funtester.base.constaint.ThreadBase 抽象類，這樣可以設(shè)置一些類的屬性，綁定一些測(cè)試資源，適配更多的測(cè)試場(chǎng)景。
下面演示select的性能測(cè)試，這里我用了隨機(jī)ID查詢的場(chǎng)景。
這里我使用從35開(kāi)始遞增的ID進(jìn)行刪除。
這里使用了select的用例部分，隨機(jī)ID，然后更新name字段，隨機(jī)10個(gè)長(zhǎng)度的字符串。
這里用到了 FunTester 字段都是隨機(jī)生成。
到這里可以看出，性能測(cè)試框架用到的都是gorm框架的基礎(chǔ)API使用，這里MySQL連接池的管理工作完全交給了gorm框架完成，看資料說(shuō)非常牛逼，我們只需要設(shè)置幾個(gè)參數(shù)。這個(gè)使用體現(xiàn)很像 HttpClient 設(shè)置 HTTP 連接池類似，這里我們也可以看出這些優(yōu)秀的框架使用起來(lái)都是非常簡(jiǎn)單的。
PS：關(guān)于gorm的基礎(chǔ)使用的請(qǐng)參考上一期的文章Go語(yǔ)言gorm框架MySQL實(shí)踐。
重慶分公司
重慶分公司
