最近閱讀我的第一本算法書(【日】石田保輝;宮崎修一)
義烏ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景,ssl證書未來市場廣闊!成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道,可以享受市場價格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:18982081108(備注:SSL證書合作)期待與您的合作!
本系列筆記擬采用golang練習(xí)之
graph_visit_test.go
頂點接口
圖的遍歷器接口
頂點的實現(xiàn)
候選節(jié)點隊列接口. 候選節(jié)點的選擇方式不同, 決定了是深度優(yōu)先還是廣度優(yōu)先.
LIFO堆棧, 實現(xiàn)INodeQueue接口
FIFO隊列, 實現(xiàn)INodeQueue接口
遍歷器, 實現(xiàn)IGraphVisitor接口
(end)
最近在看左神新書 《Go 語言設(shè)計與實現(xiàn)》的垃圾收集器時產(chǎn)生一個疑惑,花了點時間搞清楚了記錄一下。
Go 語言垃圾回收的實現(xiàn)使用了標(biāo)記清除算法,將對象的狀態(tài)抽象成黑色(活躍對象)、灰色(活躍對象中間狀態(tài))、白色(潛在垃圾對象也是所有對象的默認(rèn)狀態(tài))三種,注意沒有具體的字段標(biāo)記顏色。
整個標(biāo)記過程就是把白色對象標(biāo)黑的過程:
1.首先將 ROOT 根對象(包括全局變量、goroutine 棧上的對象等)放入到灰色集合
2.選一個灰色對象,標(biāo)成黑色,將所有可達(dá)的子對象放入到灰色集合
3.重復(fù)2的步驟,直到灰色集合中為空
下圖是書上的插圖,看上去是一個典型的深度優(yōu)先搜索的算法。
下圖是劉丹冰寫的《Golang 修養(yǎng)之路》的插圖,看上去是一個典型的廣度優(yōu)先搜索的算法。
我疑惑的點在于這個標(biāo)記過程是深度優(yōu)先算法還是廣度優(yōu)先算法,因為很多文章博客對此都沒有很清楚的說明,作為學(xué)習(xí)者這種細(xì)節(jié)其實也不影響對整個 GC 流程的理解,但是這種細(xì)節(jié)我非常喜歡扣:)
對著書和源碼摸索著大致找到了一個結(jié)果是深度優(yōu)先。下面看下大致的過程,源碼基于1.15.2版本:
gcStart 是 Go 語言三種條件觸發(fā) GC 的共同入口
啟動后臺標(biāo)記任務(wù)
為每個處理器創(chuàng)建用于執(zhí)行后臺標(biāo)記任務(wù)的 Goroutine
上面休眠的 G 會在調(diào)度循環(huán)中檢查并喚醒執(zhí)行
執(zhí)行標(biāo)記
gcw 是每個 P 獨有的所以不用擔(dān)心并發(fā)的問題 和 GMP、mcache 一樣設(shè)計,減少鎖競爭
嘗試在全局列表中獲取一個不為空的 buf
這是官方實現(xiàn)的無鎖隊列:)漲見識了,for 循環(huán)加原子操作實現(xiàn)棧的 pop
到這里從灰色集合中獲取待掃描的對象邏輯說完了。找到對象了接著就是 scanobject(b, gcw) 了,里面有兩段邏輯要注意
根據(jù)索引位置找到對象進(jìn)行標(biāo)色
嘗試存入 gcwork 的緩存中,或全局隊列中
無鎖隊列,for 循環(huán)加原子操作實現(xiàn)棧的 push
到這里把灰色對象標(biāo)黑就完成了,又放回灰色集合接著掃下一個指針。
Go 語言設(shè)計與實現(xiàn) 垃圾收集器
Golang三色標(biāo)記+混合寫屏障GC模式全分析
Goroutine調(diào)度是一個很復(fù)雜的機(jī)制,下面嘗試用簡單的語言描述一下Goroutine調(diào)度機(jī)制,想要對其有更深入的了解可以去研讀一下源碼。
首先介紹一下GMP什么意思:
G ----------- goroutine: 即Go協(xié)程,每個go關(guān)鍵字都會創(chuàng)建一個協(xié)程。
M ---------- thread內(nèi)核級線程,所有的G都要放在M上才能運行。
P ----------- processor處理器,調(diào)度G到M上,其維護(hù)了一個隊列,存儲了所有需要它來調(diào)度的G。
Goroutine 調(diào)度器P和 OS 調(diào)度器是通過 M 結(jié)合起來的,每個 M 都代表了 1 個內(nèi)核線程,OS 調(diào)度器負(fù)責(zé)把內(nèi)核線程分配到 CPU 的核上執(zhí)行
模型圖:
避免頻繁的創(chuàng)建、銷毀線程,而是對線程的復(fù)用。
1)work stealing機(jī)制
當(dāng)本線程無可運行的G時,嘗試從其他線程綁定的P偷取G,而不是銷毀線程。
2)hand off機(jī)制
當(dāng)本線程M0因為G0進(jìn)行系統(tǒng)調(diào)用阻塞時,線程釋放綁定的P,把P轉(zhuǎn)移給其他空閑的線程執(zhí)行。進(jìn)而某個空閑的M1獲取P,繼續(xù)執(zhí)行P隊列中剩下的G。而M0由于陷入系統(tǒng)調(diào)用而進(jìn)被阻塞,M1接替M0的工作,只要P不空閑,就可以保證充分利用CPU。M1的來源有可能是M的緩存池,也可能是新建的。當(dāng)G0系統(tǒng)調(diào)用結(jié)束后,根據(jù)M0是否能獲取到P,將會將G0做不同的處理:
如果有空閑的P,則獲取一個P,繼續(xù)執(zhí)行G0。
如果沒有空閑的P,則將G0放入全局隊列,等待被其他的P調(diào)度。然后M0將進(jìn)入緩存池睡眠。
如下圖
GOMAXPROCS設(shè)置P的數(shù)量,最多有GOMAXPROCS個線程分布在多個CPU上同時運行
在Go中一個goroutine最多占用CPU 10ms,防止其他goroutine被餓死。
具體可以去看另一篇文章
【Golang詳解】go語言調(diào)度機(jī)制 搶占式調(diào)度
當(dāng)創(chuàng)建一個新的G之后優(yōu)先加入本地隊列,如果本地隊列滿了,會將本地隊列的G移動到全局隊列里面,當(dāng)M執(zhí)行work stealing從其他P偷不到G時,它可以從全局G隊列獲取G。
協(xié)程經(jīng)歷過程
我們創(chuàng)建一個協(xié)程 go func()經(jīng)歷過程如下圖:
說明:
這里有兩個存儲G的隊列,一個是局部調(diào)度器P的本地隊列、一個是全局G隊列。新創(chuàng)建的G會先保存在P的本地隊列中,如果P的本地隊列已經(jīng)滿了就會保存在全局的隊列中;處理器本地隊列是一個使用數(shù)組構(gòu)成的環(huán)形鏈表,它最多可以存儲 256 個待執(zhí)行任務(wù)。
G只能運行在M中,一個M必須持有一個P,M與P是1:1的關(guān)系。M會從P的本地隊列彈出一個可執(zhí)行狀態(tài)的G來執(zhí)行,如果P的本地隊列為空,就會想其他的MP組合偷取一個可執(zhí)行的G來執(zhí)行;
一個M調(diào)度G執(zhí)行的過程是一個循環(huán)機(jī)制;會一直從本地隊列或全局隊列中獲取G
上面說到P的個數(shù)默認(rèn)等于CPU核數(shù),每個M必須持有一個P才可以執(zhí)行G,一般情況下M的個數(shù)會略大于P的個數(shù),這多出來的M將會在G產(chǎn)生系統(tǒng)調(diào)用時發(fā)揮作用。類似線程池,Go也提供一個M的池子,需要時從池子中獲取,用完放回池子,不夠用時就再創(chuàng)建一個。
work-stealing調(diào)度算法:當(dāng)M執(zhí)行完了當(dāng)前P的本地隊列隊列里的所有G后,P也不會就這么在那躺尸啥都不干,它會先嘗試從全局隊列隊列尋找G來執(zhí)行,如果全局隊列為空,它會隨機(jī)挑選另外一個P,從它的隊列里中拿走一半的G到自己的隊列中執(zhí)行。
如果一切正常,調(diào)度器會以上述的那種方式順暢地運行,但這個世界沒這么美好,總有意外發(fā)生,以下分析goroutine在兩種例外情況下的行為。
Go runtime會在下面的goroutine被阻塞的情況下運行另外一個goroutine:
用戶態(tài)阻塞/喚醒
當(dāng)goroutine因為channel操作或者network I/O而阻塞時(實際上golang已經(jīng)用netpoller實現(xiàn)了goroutine網(wǎng)絡(luò)I/O阻塞不會導(dǎo)致M被阻塞,僅阻塞G,這里僅僅是舉個栗子),對應(yīng)的G會被放置到某個wait隊列(如channel的waitq),該G的狀態(tài)由_Gruning變?yōu)開Gwaitting,而M會跳過該G嘗試獲取并執(zhí)行下一個G,如果此時沒有可運行的G供M運行,那么M將解綁P,并進(jìn)入sleep狀態(tài);當(dāng)阻塞的G被另一端的G2喚醒時(比如channel的可讀/寫通知),G被標(biāo)記為,嘗試加入G2所在P的runnext(runnext是線程下一個需要執(zhí)行的 Goroutine。), 然后再是P的本地隊列和全局隊列。
系統(tǒng)調(diào)用阻塞
當(dāng)M執(zhí)行某一個G時候如果發(fā)生了阻塞操作,M會阻塞,如果當(dāng)前有一些G在執(zhí)行,調(diào)度器會把這個線程M從P中摘除,然后再創(chuàng)建一個新的操作系統(tǒng)的線程(如果有空閑的線程可用就復(fù)用空閑線程)來服務(wù)于這個P。當(dāng)M系統(tǒng)調(diào)用結(jié)束時候,這個G會嘗試獲取一個空閑的P執(zhí)行,并放入到這個P的本地隊列。如果獲取不到P,那么這個線程M變成休眠狀態(tài), 加入到空閑線程中,然后這個G會被放入全局隊列中。
隊列輪轉(zhuǎn)
可見每個P維護(hù)著一個包含G的隊列,不考慮G進(jìn)入系統(tǒng)調(diào)用或IO操作的情況下,P周期性的將G調(diào)度到M中執(zhí)行,執(zhí)行一小段時間,將上下文保存下來,然后將G放到隊列尾部,然后從隊列中重新取出一個G進(jìn)行調(diào)度。
除了每個P維護(hù)的G隊列以外,還有一個全局的隊列,每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行,全局隊列中G的來源,主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會周期性地查看全局隊列,也是為了防止全局隊列中的G被餓死。
除了每個P維護(hù)的G隊列以外,還有一個全局的隊列,每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行,全局隊列中G的來源,主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會周期性地查看全局隊列,也是為了防止全局隊列中的G被餓死。
M0
M0是啟動程序后的編號為0的主線程,這個M對應(yīng)的實例會在全局變量rutime.m0中,不需要在heap上分配,M0負(fù)責(zé)執(zhí)行初始化操作和啟動第一個G,在之后M0就和其他的M一樣了
G0
G0是每次啟動一個M都會第一個創(chuàng)建的goroutine,G0僅用于負(fù)責(zé)調(diào)度G,G0不指向任何可執(zhí)行的函數(shù),每個M都會有一個自己的G0,在調(diào)度或系統(tǒng)調(diào)用時會使用G0的??臻g,全局變量的G0是M0的G0
一個G由于調(diào)度被中斷,此后如何恢復(fù)?
中斷的時候?qū)⒓拇嫫骼锏臈P畔?,保存到自己的G對象里面。當(dāng)再次輪到自己執(zhí)行時,將自己保存的棧信息復(fù)制到寄存器里面,這樣就接著上次之后運行了。
我這里只是根據(jù)自己的理解進(jìn)行了簡單的介紹,想要詳細(xì)了解有關(guān)GMP的底層原理可以去看Go調(diào)度器 G-P-M 模型的設(shè)計者的文檔或直接看源碼
參考: ()
()
最近垃圾分類的話題熱度一下子就上去了,很多人因為垃圾分類的問題很頭痛。因為垃圾這個話題,那我就想來說說Golang里面的垃圾,于是就有了這篇博客,golang中的垃圾回收。
現(xiàn)階段網(wǎng)上針對golang垃圾回收的解析已經(jīng)很多了,所以我也沒有必要仔仔細(xì)細(xì)的一點點說,還是那個原則,用最直白的話告訴你,垃圾到底是怎么收的。
首先本文后續(xù)都會使用 GC 代替垃圾回收這幾個字。
我們知道創(chuàng)建對象會給他分配內(nèi)存資源,如果這個對象不使用了,而這個內(nèi)存資源卻一直被占用的話,那么我們的電腦很快就會被放滿,所以需要將這些垃圾對象進(jìn)行回收。
要回收,那么我們必須知道什么才是垃圾,什么不是垃圾。
在我們看來,一個對象以后都不用了,就是垃圾。
在程序看來,一個對象沒有被引用了,就是垃圾。
首先說明一下,下面說的停,都是STW,stop the world,全世界暫停,所有運行的都停下來了。
先告訴所有人,停一下,我來記錄一下當(dāng)前狀態(tài)。
告訴所有人,你們繼續(xù),該干嘛干嘛,我標(biāo)記一下要用的對象
一開始所有點是白色,首先從根節(jié)點出發(fā),標(biāo)記相連的點為灰色(相連證明有引用),并且將所有灰色的點存起來;
告訴所有人,再停一下,在第二個過程中,因為所有人繼續(xù)在工作,那么就會產(chǎn)生新的垃圾,因為第一個過程記錄了狀態(tài),所以需要標(biāo)記一下新的垃圾;然后清除所有白色的點,因為白色的點是沒人引用的,也就是垃圾。
你一定會有這樣的疑問:
那么既然會導(dǎo)致那么多問題,為什么不直接停下來,標(biāo)記完回收完了再開始呢?
因為慢~
所以這樣GC的原因是既要保證GC正常執(zhí)行,又要保證效率,不能停的時間太長。
其實第一次停的時候,啟動了一個寫屏障 (write barrier)它需要記錄后續(xù)過程中新創(chuàng)建的對象
這個過程稱為三色標(biāo)記,有點類似廣度優(yōu)先搜索。
這次是必須停,因為在第二個過程中引用會發(fā)生變化,從而需要停止后重新掃描一遍;然后關(guān)閉寫屏障,最后再清理。
開啟寫屏障時需要stw
關(guān)閉寫屏障前需要stw
開啟寫屏障之后的標(biāo)記過程與其他程序并發(fā)執(zhí)行
關(guān)閉寫屏障之后的清掃過程與其他程序并發(fā)執(zhí)行
那畢竟GC還是需要STW的,雖然可能停止時間很短,但是對于程序來說,整個程序停止1秒那對于用戶來說就是致命打擊。所以GC肯定需要一個觸發(fā)的條件,不能想來就來。
這是一個觸發(fā)的條件,默認(rèn)GC百分比設(shè)置的是100,意思是,如果這次回收之后總共占用2M的內(nèi)存,那么下次觸發(fā)的條件時當(dāng)超過4M的時候;同理,當(dāng)這次回收之后總共占用4M,那么下次觸發(fā)條件就是8M。
這個簡單,當(dāng)一定時間(2分鐘)沒有執(zhí)行過GC就觸發(fā)GC
使用命令 runtime.GC() 手動觸發(fā)GC
以上就是在golang中垃圾回收的大致流程,總的來說使用三色標(biāo)記法進(jìn)行標(biāo)記清除,并且標(biāo)記時與程序運行并行,為了解決問題使用寫屏障來記錄標(biāo)記過程中對象的變更??倎淼膩碚f也是為了提高垃圾回收的效率,并且盡可能的減少STW的時間。
了解下來,與java的分代回收相比,golang中的回收算法理解起來更加簡單一些。
Go語言標(biāo)準(zhǔn)庫中提供了sort包對整型,浮點型,字符串型切片進(jìn)行排序,檢查一個切片是否排好序,使用二分法搜索函數(shù)在一個有序切片中搜索一個元素等功能。
關(guān)于sort包內(nèi)的函數(shù)說明與使用,請查看
在這里簡單講幾個sort包中常用的函數(shù)
在Go語言中,對字符串的排序都是按照字節(jié)排序,也就是說在對字符串排序時是區(qū)分大小寫的。
二分搜索算法
Go語言中提供了一個使用二分搜索算法的sort.Search(size,fn)方法:每次只需要比較㏒?n個元素,其中n為切片中元素的總數(shù)。
sort.Search(size,fn)函數(shù)接受兩個參數(shù):所處理的切片的長度和一個將目標(biāo)元素與有序切片的元素相比較的函數(shù),該函數(shù)是一個閉包,如果該有序切片是升序排列,那么在判斷時使用 有序切片的元素 = 目標(biāo)元素。該函數(shù)返回一個int值,表示與目標(biāo)元素相同的切片元素的索引。
在切片中查找出某個與目標(biāo)字符串相同的元素索引