本教程介紹了 Go 中模糊測試的基礎(chǔ)知識。通過模糊測試,隨機數(shù)據(jù)會針對您的測試運行,以嘗試找出漏洞或?qū)е卤罎⒌妮斎?。可以通過模糊測試發(fā)現(xiàn)的一些漏洞示例包括 SQL 注入、緩沖區(qū)溢出、拒絕服務(wù)和跨站點腳本攻擊。
目前創(chuàng)新互聯(lián)建站已為上1000家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬主機、網(wǎng)站托管、服務(wù)器租用、企業(yè)網(wǎng)站設(shè)計、會寧網(wǎng)站維護等服務(wù),公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。
在本教程中,您將為一個簡單的函數(shù)編寫一個模糊測試,運行 go 命令,并調(diào)試和修復(fù)代碼中的問題。
首先,為您要編寫的代碼創(chuàng)建一個文件夾。
1、打開命令提示符并切換到您的主目錄。
在 Linux 或 Mac 上:
在 Windows 上:
2、在命令提示符下,為您的代碼創(chuàng)建一個名為 fuzz 的目錄。
3、創(chuàng)建一個模塊來保存您的代碼。
運行g(shù)o mod init命令,為其提供新代碼的模塊路徑。
接下來,您將添加一些簡單的代碼來反轉(zhuǎn)字符串,稍后我們將對其進行模糊測試。
在此步驟中,您將添加一個函數(shù)來反轉(zhuǎn)字符串。
a.使用您的文本編輯器,在 fuzz 目錄中創(chuàng)建一個名為 main.go 的文件。
獨立程序(與庫相反)始終位于 package 中main。
此函數(shù)將接受string,使用byte進行循環(huán) ,并在最后返回反轉(zhuǎn)的字符串。
此函數(shù)將運行一些Reverse操作,然后將輸出打印到命令行。這有助于查看運行中的代碼,并可能有助于調(diào)試。
e.該main函數(shù)使用 fmt 包,因此您需要導(dǎo)入它。
第一行代碼應(yīng)如下所示:
從包含 main.go 的目錄中的命令行,運行代碼。
可以看到原來的字符串,反轉(zhuǎn)它的結(jié)果,然后再反轉(zhuǎn)它的結(jié)果,就相當于原來的了。
現(xiàn)在代碼正在運行,是時候測試它了。
在這一步中,您將為Reverse函數(shù)編寫一個基本的單元測試。
a.使用您的文本編輯器,在 fuzz 目錄中創(chuàng)建一個名為 reverse_test.go 的文件。
b.將以下代碼粘貼到 reverse_test.go 中。
這個簡單的測試將斷言列出的輸入字符串將被正確反轉(zhuǎn)。
使用運行單元測試go test
接下來,您將單元測試更改為模糊測試。
單元測試有局限性,即每個輸入都必須由開發(fā)人員添加到測試中。模糊測試的一個好處是它可以為您的代碼提供輸入,并且可以識別您提出的測試用例沒有達到的邊緣用例。
在本節(jié)中,您將單元測試轉(zhuǎn)換為模糊測試,這樣您就可以用更少的工作生成更多的輸入!
請注意,您可以將單元測試、基準測試和模糊測試保存在同一個 *_test.go 文件中,但對于本示例,您將單元測試轉(zhuǎn)換為模糊測試。
在您的文本編輯器中,將 reverse_test.go 中的單元測試替換為以下模糊測試。
Fuzzing 也有一些限制。在您的單元測試中,您可以預(yù)測Reverse函數(shù)的預(yù)期輸出,并驗證實際輸出是否滿足這些預(yù)期。
例如,在測試用例Reverse("Hello, world")中,單元測試將返回指定為"dlrow ,olleH".
模糊測試時,您無法預(yù)測預(yù)期輸出,因為您無法控制輸入。
但是,Reverse您可以在模糊測試中驗證函數(shù)的一些屬性。在這個模糊測試中檢查的兩個屬性是:
(1)將字符串反轉(zhuǎn)兩次保留原始值
(2)反轉(zhuǎn)的字符串將其狀態(tài)保留為有效的 UTF-8。
注意單元測試和模糊測試之間的語法差異:
(3)確保新包unicode/utf8已導(dǎo)入。
隨著單元測試轉(zhuǎn)換為模糊測試,是時候再次運行測試了。
a.在不進行模糊測試的情況下運行模糊測試,以確保種子輸入通過。
如果您在該文件中有其他測試,您也可以運行g(shù)o test -run=FuzzReverse,并且您只想運行模糊測試。
b.運行FuzzReverse模糊測試,查看是否有任何隨機生成的字符串輸入會導(dǎo)致失敗。這是使用go test新標志-fuzz執(zhí)行的。
模糊測試時發(fā)生故障,導(dǎo)致問題的輸入被寫入將在下次運行的種子語料庫文件中g(shù)o test,即使沒有-fuzz標志也是如此。要查看導(dǎo)致失敗的輸入,請在文本編輯器中打開寫入 testdata/fuzz/FuzzReverse 目錄的語料庫文件。您的種子語料庫文件可能包含不同的字符串,但格式相同。
語料庫文件的第一行表示編碼版本。以下每一行代表構(gòu)成語料庫條目的每種類型的值。由于 fuzz target 只需要 1 個輸入,因此版本之后只有 1 個值。
c.運行沒有-fuzz標志的go test; 新的失敗種子語料庫條目將被使用:
由于我們的測試失敗,是時候調(diào)試了。
Go有四大核心模塊,基本全部體現(xiàn)在runtime,有調(diào)度系統(tǒng)、GC、goroutine、channel,那么深入理解其中的精髓可以幫助我們理解Go這一門語言!
參考: 調(diào)度系統(tǒng)設(shè)計精要
下面是我用Go語言簡單寫的一個調(diào)度器,大家可以看看設(shè)計思路,以及存在的問題!
1、測試條件,調(diào)度器只啟動兩個線程,然后一個線程主要是負責(zé)循環(huán)的添加任務(wù),一個線程循環(huán)的去執(zhí)行任務(wù)
2、測試條件,調(diào)度器啟動三個線程,然后兩個線程去執(zhí)行任務(wù),一個添加任務(wù)
3、繼續(xù)測試,啟動十個線程,一個添加任務(wù),九個執(zhí)行任務(wù)
4、我們添加一些阻塞的任務(wù)
執(zhí)行可以看到完全不可用
1、 可以看到隨著M的不斷的增加,可以發(fā)現(xiàn)執(zhí)行任務(wù)的數(shù)量也不斷的減少,原因是什么呢?有興趣的同學(xué)可以加一個pprof可以看看,其實大量的在等待鎖的過程!
2、如果我的M運行了類似于Sleep操作的方法如何解決了,我的調(diào)度器還能支撐這個量級的調(diào)度嗎?
關(guān)于pprof如何使用:在代碼頭部加一個這個代碼:
我們查看一下 go tool pprof main/prof.pporf
可以看到真正執(zhí)行代碼的時間只有 0.17s + 0.02s 其他時間都被阻塞掉了!
1、GM模型中的所有G都是放入到一個queue,那么導(dǎo)致所有的M取執(zhí)行任務(wù)時都會去競爭鎖,我們插入G也會去競爭鎖,所以解決這種問題一般就是減少對單一資源的競爭,那就是桶化,其實就是每個線程都分配一個隊列
2、GM模型中沒有任務(wù)狀態(tài),只有runnable,假如任務(wù)遇到阻塞,完全可以把任務(wù)掛起再喚醒
這里其實會遇到一個問題,假如要分配很多個線程,那么此時隨著線程的增加,也會造成隊列的增加,其實也會造成調(diào)度器的壓力,因為它需要遍歷全部線程的隊列去分配任務(wù)以及后續(xù)會講到的竊取任務(wù)!
因為我們知道CPU的最大并行度其實取決于CPU的核數(shù),也就是我們沒必要為每個線程都去分配一個隊列,因為就算是給他們分配了,他們自己去那執(zhí)行調(diào)度,其實也會出現(xiàn)大量阻塞,原因就是CPU調(diào)度不過來這些線程!
Go里面是只分配了CPU個數(shù)的隊列,這里就是P這個概念,你可以理解為P其實是真正的資源分配器,M很輕只是執(zhí)行程序,所有的資源內(nèi)存都維護在P上!M只有綁定P才能執(zhí)行任務(wù)(強制的)!
這樣做的好處:
1、首先調(diào)度程序其實就是調(diào)度不同狀態(tài)的任務(wù),go里面為Go標記了不同的狀態(tài),其實大概就是分為:runnable,running,block等,所以如何充分調(diào)度不同狀態(tài)的G成了問題,那么關(guān)于阻塞的G如何解決,其實可以很好的解決G調(diào)度的問題!
上面這些情況其實就分為:
2、用戶態(tài)阻塞,一般Go里面依靠 gopark 函數(shù)去實現(xiàn),大體的代碼邏輯基本上和go的調(diào)度綁定死了
源碼在:
3、其實對于netpool 這種nio模型,其實內(nèi)核調(diào)用是非阻塞的,所以go開辟了一個網(wǎng)絡(luò)輪訓(xùn)器隊列,來存放這些被阻塞的g,等待內(nèi)核被喚醒!那么什么時候會被喚醒了,其實就是需要等待調(diào)度器去調(diào)度了!
4、如果是內(nèi)核態(tài)阻塞了(內(nèi)核態(tài)阻塞一般都會將線程掛起,線程需要等待被喚醒),我們此時P只能放棄此線程的權(quán)利,然后再找一個新的線程去運行P!
關(guān)于著新線程:找有沒有idle的線程,沒有就會創(chuàng)建一個新的線程!
關(guān)于當內(nèi)核被喚醒后的操作:因為GPM模型所以需要找到個P綁定,所以G會去嘗試找一個可用的P,如果沒有可用的P,G會標記為runnable放到全局隊列中!
5、其實了解上面大致其實就了解了Go的基本調(diào)度模型
答案文章里慢慢品味!
如果某個 G 執(zhí)行時間過長,其他的 G 如何才能被正常的調(diào)度? 這便涉及到有關(guān)調(diào)度的兩個理念:協(xié)作式調(diào)度與搶占式調(diào)度。協(xié)作式和搶占式這兩個理念解釋起來很簡單: 協(xié)作式調(diào)度依靠被調(diào)度方主動棄權(quán);搶占式調(diào)度則依靠調(diào)度器強制將被調(diào)度方被動中斷。
例如下面的代碼,我本地的版本是 go1.13.5
執(zhí)行: GOMAXPROCS=1 配置全局只能有一個P
可以看到main函數(shù)無法執(zhí)行!也就是那個go 空轉(zhuǎn)搶占了整個程序
備注:
但是假如我換為用 1.14+版本執(zhí)行,有興趣的話可以使用我的docker鏡像,直接可以拉?。? fanhaodong/golang:1.15.11 和 fanhaodong/golang:1.13.5
首先我們知道G/M/P,G可能和M也可能和P解除綁定,那么關(guān)于數(shù)據(jù)變量放在哪哇!其實這個就是逃逸分析!
輸出可以看到其實沒有發(fā)生逃逸,那是因為 demo被拷貝它自己的??臻g內(nèi)
備注:
-gcflags"-N -l -m" 其中 -N禁用優(yōu)化-l禁止內(nèi)聯(lián)優(yōu)化,-m打印逃逸信息
那么繼續(xù)改成這個
可以看到發(fā)現(xiàn) demo對象其實被逃逸到了堆上!這就是不會出現(xiàn)類似于G如果被別的M執(zhí)行,其實不會出現(xiàn)內(nèi)存分配位置的問題!
所以可以看到demo其實是copy到了堆上!這就是g逃逸的問題,和for循環(huán)一樣的
執(zhí)行可以發(fā)現(xiàn),其實x已經(jīng)逃逸到了堆上,所以你所有的g都引用的一個對象,如何解決了
如何解決了,其實很簡單
也談goroutine調(diào)度器
圖解Go運行時調(diào)度器
Go語言回顧:從Go 1.0到Go 1.13
Go語言原本
調(diào)度系統(tǒng)設(shè)計精要
Scalable Go Scheduler Design Doc
參考:
Goroutine并發(fā)調(diào)度模型深度解析手擼一個協(xié)程池
Golang 的 goroutine 是如何實現(xiàn)的?
Golang - 調(diào)度剖析【第二部分】
OS線程初始棧為2MB。Go語言中,每個goroutine采用動態(tài)擴容方式,初始2KB,按需增長,最大1G。此外GC會收縮??臻g。
BTW,增長擴容都是有代價的,需要copy數(shù)據(jù)到新的stack,所以初始2KB可能有些性能問題。
更多關(guān)于stack的內(nèi)容,可以參見大佬的文章。 聊一聊goroutine stack
用戶線程的調(diào)度以及生命周期管理都是用戶層面,Go語言自己實現(xiàn)的,不借助OS系統(tǒng)調(diào)用,減少系統(tǒng)資源消耗。
Go語言采用兩級線程模型,即用戶線程與內(nèi)核線程KSE(kernel scheduling entity)是M:N的。最終goroutine還是會交給OS線程執(zhí)行,但是需要一個中介,提供上下文。這就是G-M-P模型
Go調(diào)度器有兩個不同的運行隊列:
go1.10\src\runtime\runtime2.go
Go調(diào)度器根據(jù)事件進行上下文切換。
調(diào)度的目的就是防止M堵塞,空閑,系統(tǒng)進程切換。
詳見 Golang - 調(diào)度剖析【第二部分】
Linux可以通過epoll實現(xiàn)網(wǎng)絡(luò)調(diào)用,統(tǒng)稱網(wǎng)絡(luò)輪詢器N(Net Poller)。
文件IO操作
上面都是防止M堵塞,任務(wù)竊取是防止M空閑
每個M都有一個特殊的G,g0。用于執(zhí)行調(diào)度,gc,棧管理等任務(wù),所以g0的棧稱為調(diào)度棧。g0的棧不會自動增長,不會被gc,來自os線程的棧。
go1.10\src\runtime\proc.go
G沒辦法自己運行,必須通過M運行
M通過通過調(diào)度,執(zhí)行G
從M掛載P的runq中找到G,執(zhí)行G
本教程介紹了使用 Godatabase/sql及其標準庫中的包訪問關(guān)系數(shù)據(jù)庫的基礎(chǔ)知識。
您將使用的database/sql包包括用于連接數(shù)據(jù)庫、執(zhí)行事務(wù)、取消正在進行的操作等的類型和函數(shù)。
在本教程中,您將創(chuàng)建一個數(shù)據(jù)庫,然后編寫代碼來訪問該數(shù)據(jù)庫。您的示例項目將是有關(guān)老式爵士樂唱片的數(shù)據(jù)存儲庫。
首先,為您要編寫的代碼創(chuàng)建一個文件夾。
1、打開命令提示符并切換到您的主目錄。
在 Linux 或 Mac 上:
在 Windows 上:
2、在命令提示符下,為您的代碼創(chuàng)建一個名為 data-access 的目錄。
3、創(chuàng)建一個模塊,您可以在其中管理將在本教程中添加的依賴項。
運行g(shù)o mod init命令,為其提供新代碼的模塊路徑。
此命令創(chuàng)建一個 go.mod 文件,您添加的依賴項將在其中列出以供跟蹤。
注意: 在實際開發(fā)中,您會指定一個更符合您自己需求的模塊路徑。有關(guān)更多信息,請參閱一下文章。
GO語言(二十五):管理依賴項(上)
GO語言(二十六):管理依賴項(中)
GO語言(二十七):管理依賴項(下)
接下來,您將創(chuàng)建一個數(shù)據(jù)庫。
在此步驟中,您將創(chuàng)建要使用的數(shù)據(jù)庫。您將使用 DBMS 本身的 CLI 創(chuàng)建數(shù)據(jù)庫和表,以及添加數(shù)據(jù)。
您將創(chuàng)建一個數(shù)據(jù)庫,其中包含有關(guān)黑膠唱片上的老式爵士樂錄音的數(shù)據(jù)。
這里的代碼使用MySQL CLI,但大多數(shù) DBMS 都有自己的 CLI,具有類似的功能。
1、打開一個新的命令提示符。
在命令行,登錄到您的 DBMS,如下面的 MySQL 示例所示。
2、在mysql命令提示符下,創(chuàng)建一個數(shù)據(jù)庫。
3、切到您剛剛創(chuàng)建的數(shù)據(jù)庫,以便您可以添加表。
4、在文本編輯器的 data-access 文件夾中,創(chuàng)建一個名為 create-tables.sql 的文件來保存用于添加表的 SQL 腳本。
將以下 SQL 代碼粘貼到文件中,然后保存文件。
在此 SQL 代碼中:
(1)刪除名為album表。 首先執(zhí)行此命令可以讓您更輕松地稍后重新運行腳本。
(2)創(chuàng)建一個album包含四列的表:title、artist和price。每行的id值由 DBMS 自動創(chuàng)建。
(3)添加帶有值的四行。
5、在mysql命令提示符下,運行您剛剛創(chuàng)建的腳本。
您將使用以下形式的source命令:
6、在 DBMS 命令提示符處,使用SELECT語句來驗證您是否已成功創(chuàng)建包含數(shù)據(jù)的表。
接下來,您將編寫一些 Go 代碼進行連接,以便進行查詢。
現(xiàn)在你已經(jīng)有了一個包含一些數(shù)據(jù)的數(shù)據(jù)庫,開始你的 Go 代碼。
找到并導(dǎo)入一個數(shù)據(jù)庫驅(qū)動程序,該驅(qū)動程序會將您通過database/sql包中的函數(shù)發(fā)出的請求轉(zhuǎn)換為數(shù)據(jù)庫可以理解的請求。
1、在您的瀏覽器中,訪問SQLDrivers wiki 頁面以識別您可以使用的驅(qū)動程序。
2、使用頁面上的列表來識別您將使用的驅(qū)動程序。為了在本教程中訪問 MySQL,您將使用 Go-MySQL-Driver。
3、請注意驅(qū)動程序的包名稱 - 此處為github.com/go-sql-driver/mysql.
4、使用您的文本編輯器,創(chuàng)建一個用于編寫 Go 代碼的文件,并將該文件作為 main.go 保存在您之前創(chuàng)建的數(shù)據(jù)訪問目錄中。
5、進入main.go,粘貼以下代碼導(dǎo)入驅(qū)動包。
在此代碼中:
(1)將您的代碼添加到main包中,以便您可以獨立執(zhí)行它。
(2)導(dǎo)入 MySQL 驅(qū)動程序github.com/go-sql-driver/mysql。
導(dǎo)入驅(qū)動程序后,您將開始編寫代碼以訪問數(shù)據(jù)庫。
現(xiàn)在編寫一些 Go 代碼,讓您使用數(shù)據(jù)庫句柄訪問數(shù)據(jù)庫。
您將使用指向結(jié)構(gòu)的指針sql.DB,它表示對特定數(shù)據(jù)庫的訪問。
編寫代碼
1、進入 main.go,在import您剛剛添加的代碼下方,粘貼以下 Go 代碼以創(chuàng)建數(shù)據(jù)庫句柄。
在此代碼中:
(3)使用 MySQL 驅(qū)動程序Config和FormatDSN類型以收集連接屬性并將它們格式化為連接字符串的 DSN。
該Config結(jié)構(gòu)使代碼比連接字符串更容易閱讀。
(4)調(diào)用sql.Open 初始化db變量,傳遞 FormatDSN。
(5)檢查來自 的錯誤sql.Open。例如,如果您的數(shù)據(jù)庫連接細節(jié)格式不正確,它可能會失敗。
為了簡化代碼,您調(diào)用log.Fatal結(jié)束執(zhí)行并將錯誤打印到控制臺。在生產(chǎn)代碼中,您會希望以更優(yōu)雅的方式處理錯誤。
(6)調(diào)用DB.Ping以確認連接到數(shù)據(jù)庫有效。在運行時, sql.Open可能不會立即連接,具體取決于驅(qū)動程序。您在Ping此處使用以確認 database/sql包可以在需要時連接。
(7)檢查來自Ping的錯誤,以防連接失敗。
(8)Ping如果連接成功,則打印一條消息。
文件的頂部現(xiàn)在應(yīng)該如下所示:
3、保存 main.go。
1、開始跟蹤 MySQL 驅(qū)動程序模塊作為依賴項。
使用go get 添加 github.com/go-sql-driver/mysql 模塊作為您自己模塊的依賴項。使用點參數(shù)表示“獲取當前目錄中代碼的依賴項”。
2、在命令提示符下,設(shè)置Go 程序使用的DBUSER和DBPASS環(huán)境變量。
在 Linux 或 Mac 上:
在 Windows 上:
3、在包含 main.go 的目錄中的命令行中,通過鍵入go run來運行代碼。
連接成功了!
接下來,您將查詢一些數(shù)據(jù)。