內(nèi)核線程(Kernel-Level Thread ,KLT)
成都創(chuàng)新互聯(lián)公司致力于互聯(lián)網(wǎng)品牌建設(shè)與網(wǎng)絡(luò)營銷,包括網(wǎng)站設(shè)計制作、網(wǎng)站設(shè)計、SEO優(yōu)化、網(wǎng)絡(luò)推廣、整站優(yōu)化營銷策劃推廣、電子商務(wù)、移動互聯(lián)網(wǎng)營銷等。成都創(chuàng)新互聯(lián)公司為不同類型的客戶提供良好的互聯(lián)網(wǎng)應(yīng)用定制及解決方案,成都創(chuàng)新互聯(lián)公司核心團(tuán)隊十余年專注互聯(lián)網(wǎng)開發(fā),積累了豐富的網(wǎng)站經(jīng)驗,為廣大企業(yè)客戶提供一站式企業(yè)網(wǎng)站建設(shè)服務(wù),在網(wǎng)站建設(shè)行業(yè)內(nèi)樹立了良好口碑。
輕量級進(jìn)程(Light Weight Process,LWP):輕量級進(jìn)程就是我們通常意義上所講的線程,由于每個輕量級進(jìn)程都由一個內(nèi)核線程支持,因此只有先支持內(nèi)核線程,才能有輕量級進(jìn)程
用戶線程與系統(tǒng)線程一一對應(yīng),用戶線程執(zhí)行如lo操作的系統(tǒng)調(diào)用時,來回切換操作開銷相對比較大
多個用戶線程對應(yīng)一個內(nèi)核線程,當(dāng)內(nèi)核線程對應(yīng)的一個用戶線程被阻塞掛起時候,其他用戶線程也阻塞不能執(zhí)行了。
多對多模型是可以充分利用多核CPU提升運行效能的
go線程模型包含三個概念:內(nèi)核線程(M),goroutine(G),G的上下文環(huán)境(P);
GMP模型是goalng特有的。
P與M一般是一一對應(yīng)的。P(上下文)管理著一組G(goroutine)掛載在M(內(nèi)核線程)上運行,圖中左邊藍(lán)色為正在執(zhí)行狀態(tài)的goroutine,右邊為待執(zhí)行狀態(tài)的goroutiine隊列。P的數(shù)量由環(huán)境變量GOMAXPROCS的值或程序運行runtime.GOMAXPROCS()進(jìn)行設(shè)置。
當(dāng)一個os線程在執(zhí)行M1一個G1發(fā)生阻塞時,調(diào)度器讓M1拋棄P,等待G1返回,然后另起一個M2接收P來執(zhí)行剩下的goroutine隊列(G2、G3...),這是golang調(diào)度器厲害的地方,可以保證有足夠的線程來運行剩下所有的goroutine。
當(dāng)G1結(jié)束后,M1會重新拿回P來完成,如果拿不到就丟到全局runqueue中,然后自己放到線程池或轉(zhuǎn)入休眠狀態(tài)??臻e的上下文P會周期性的檢查全局runqueue上的goroutine,并且執(zhí)行它。
另一種情況就是當(dāng)有些P1太閑而其他P2很忙碌的時候,會從其他上下文P2拿一些G來執(zhí)行。
詳細(xì)可以翻看下方第一個參考鏈接,寫得真好。
最后用大佬的總結(jié)來做最后的收尾————
Go語言運行時,通過核心元素G,M,P 和 自己的調(diào)度器,實現(xiàn)了自己的并發(fā)線程模型。調(diào)度器通過對G,M,P的調(diào)度實現(xiàn)了兩級線程模型中操作系統(tǒng)內(nèi)核之外的調(diào)度任務(wù)。整個調(diào)度過程中會在多種時機(jī)去觸發(fā)最核心的步驟 “一整輪調(diào)度”,而一整輪調(diào)度中最關(guān)鍵的部分在“全力查找可運行G”,它保證了M的高效運行(換句話說就是充分使用了計算機(jī)的物理資源),一整輪調(diào)度中還會涉及到M的啟用停止。最后別忘了,還有一個與Go程序生命周期相同的系統(tǒng)監(jiān)測任務(wù)來進(jìn)行一些輔助性的工作。
淺析Golang的線程模型與調(diào)度器
Golang CSP并發(fā)模型
Golang線程模型
Goroutine調(diào)度是一個很復(fù)雜的機(jī)制,下面嘗試用簡單的語言描述一下Goroutine調(diào)度機(jī)制,想要對其有更深入的了解可以去研讀一下源碼。
首先介紹一下GMP什么意思:
G ----------- goroutine: 即Go協(xié)程,每個go關(guān)鍵字都會創(chuàng)建一個協(xié)程。
M ---------- thread內(nèi)核級線程,所有的G都要放在M上才能運行。
P ----------- processor處理器,調(diào)度G到M上,其維護(hù)了一個隊列,存儲了所有需要它來調(diào)度的G。
Goroutine 調(diào)度器P和 OS 調(diào)度器是通過 M 結(jié)合起來的,每個 M 都代表了 1 個內(nèi)核線程,OS 調(diào)度器負(fù)責(zé)把內(nèi)核線程分配到 CPU 的核上執(zhí)行
模型圖:
避免頻繁的創(chuàng)建、銷毀線程,而是對線程的復(fù)用。
1)work stealing機(jī)制
當(dāng)本線程無可運行的G時,嘗試從其他線程綁定的P偷取G,而不是銷毀線程。
2)hand off機(jī)制
當(dāng)本線程M0因為G0進(jìn)行系統(tǒng)調(diào)用阻塞時,線程釋放綁定的P,把P轉(zhuǎn)移給其他空閑的線程執(zhí)行。進(jìn)而某個空閑的M1獲取P,繼續(xù)執(zhí)行P隊列中剩下的G。而M0由于陷入系統(tǒng)調(diào)用而進(jìn)被阻塞,M1接替M0的工作,只要P不空閑,就可以保證充分利用CPU。M1的來源有可能是M的緩存池,也可能是新建的。當(dāng)G0系統(tǒng)調(diào)用結(jié)束后,根據(jù)M0是否能獲取到P,將會將G0做不同的處理:
如果有空閑的P,則獲取一個P,繼續(xù)執(zhí)行G0。
如果沒有空閑的P,則將G0放入全局隊列,等待被其他的P調(diào)度。然后M0將進(jìn)入緩存池睡眠。
如下圖
GOMAXPROCS設(shè)置P的數(shù)量,最多有GOMAXPROCS個線程分布在多個CPU上同時運行
在Go中一個goroutine最多占用CPU 10ms,防止其他goroutine被餓死。
具體可以去看另一篇文章
【Golang詳解】go語言調(diào)度機(jī)制 搶占式調(diào)度
當(dāng)創(chuàng)建一個新的G之后優(yōu)先加入本地隊列,如果本地隊列滿了,會將本地隊列的G移動到全局隊列里面,當(dāng)M執(zhí)行work stealing從其他P偷不到G時,它可以從全局G隊列獲取G。
協(xié)程經(jīng)歷過程
我們創(chuàng)建一個協(xié)程 go func()經(jīng)歷過程如下圖:
說明:
這里有兩個存儲G的隊列,一個是局部調(diào)度器P的本地隊列、一個是全局G隊列。新創(chuàng)建的G會先保存在P的本地隊列中,如果P的本地隊列已經(jīng)滿了就會保存在全局的隊列中;處理器本地隊列是一個使用數(shù)組構(gòu)成的環(huán)形鏈表,它最多可以存儲 256 個待執(zhí)行任務(wù)。
G只能運行在M中,一個M必須持有一個P,M與P是1:1的關(guān)系。M會從P的本地隊列彈出一個可執(zhí)行狀態(tài)的G來執(zhí)行,如果P的本地隊列為空,就會想其他的MP組合偷取一個可執(zhí)行的G來執(zhí)行;
一個M調(diào)度G執(zhí)行的過程是一個循環(huán)機(jī)制;會一直從本地隊列或全局隊列中獲取G
上面說到P的個數(shù)默認(rèn)等于CPU核數(shù),每個M必須持有一個P才可以執(zhí)行G,一般情況下M的個數(shù)會略大于P的個數(shù),這多出來的M將會在G產(chǎn)生系統(tǒng)調(diào)用時發(fā)揮作用。類似線程池,Go也提供一個M的池子,需要時從池子中獲取,用完放回池子,不夠用時就再創(chuàng)建一個。
work-stealing調(diào)度算法:當(dāng)M執(zhí)行完了當(dāng)前P的本地隊列隊列里的所有G后,P也不會就這么在那躺尸啥都不干,它會先嘗試從全局隊列隊列尋找G來執(zhí)行,如果全局隊列為空,它會隨機(jī)挑選另外一個P,從它的隊列里中拿走一半的G到自己的隊列中執(zhí)行。
如果一切正常,調(diào)度器會以上述的那種方式順暢地運行,但這個世界沒這么美好,總有意外發(fā)生,以下分析goroutine在兩種例外情況下的行為。
Go runtime會在下面的goroutine被阻塞的情況下運行另外一個goroutine:
用戶態(tài)阻塞/喚醒
當(dāng)goroutine因為channel操作或者network I/O而阻塞時(實際上golang已經(jīng)用netpoller實現(xiàn)了goroutine網(wǎng)絡(luò)I/O阻塞不會導(dǎo)致M被阻塞,僅阻塞G,這里僅僅是舉個栗子),對應(yīng)的G會被放置到某個wait隊列(如channel的waitq),該G的狀態(tài)由_Gruning變?yōu)開Gwaitting,而M會跳過該G嘗試獲取并執(zhí)行下一個G,如果此時沒有可運行的G供M運行,那么M將解綁P,并進(jìn)入sleep狀態(tài);當(dāng)阻塞的G被另一端的G2喚醒時(比如channel的可讀/寫通知),G被標(biāo)記為,嘗試加入G2所在P的runnext(runnext是線程下一個需要執(zhí)行的 Goroutine。), 然后再是P的本地隊列和全局隊列。
系統(tǒng)調(diào)用阻塞
當(dāng)M執(zhí)行某一個G時候如果發(fā)生了阻塞操作,M會阻塞,如果當(dāng)前有一些G在執(zhí)行,調(diào)度器會把這個線程M從P中摘除,然后再創(chuàng)建一個新的操作系統(tǒng)的線程(如果有空閑的線程可用就復(fù)用空閑線程)來服務(wù)于這個P。當(dāng)M系統(tǒng)調(diào)用結(jié)束時候,這個G會嘗試獲取一個空閑的P執(zhí)行,并放入到這個P的本地隊列。如果獲取不到P,那么這個線程M變成休眠狀態(tài), 加入到空閑線程中,然后這個G會被放入全局隊列中。
隊列輪轉(zhuǎn)
可見每個P維護(hù)著一個包含G的隊列,不考慮G進(jìn)入系統(tǒng)調(diào)用或IO操作的情況下,P周期性的將G調(diào)度到M中執(zhí)行,執(zhí)行一小段時間,將上下文保存下來,然后將G放到隊列尾部,然后從隊列中重新取出一個G進(jìn)行調(diào)度。
除了每個P維護(hù)的G隊列以外,還有一個全局的隊列,每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行,全局隊列中G的來源,主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會周期性地查看全局隊列,也是為了防止全局隊列中的G被餓死。
除了每個P維護(hù)的G隊列以外,還有一個全局的隊列,每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行,全局隊列中G的來源,主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會周期性地查看全局隊列,也是為了防止全局隊列中的G被餓死。
M0
M0是啟動程序后的編號為0的主線程,這個M對應(yīng)的實例會在全局變量rutime.m0中,不需要在heap上分配,M0負(fù)責(zé)執(zhí)行初始化操作和啟動第一個G,在之后M0就和其他的M一樣了
G0
G0是每次啟動一個M都會第一個創(chuàng)建的goroutine,G0僅用于負(fù)責(zé)調(diào)度G,G0不指向任何可執(zhí)行的函數(shù),每個M都會有一個自己的G0,在調(diào)度或系統(tǒng)調(diào)用時會使用G0的??臻g,全局變量的G0是M0的G0
一個G由于調(diào)度被中斷,此后如何恢復(fù)?
中斷的時候?qū)⒓拇嫫骼锏臈P畔ⅲ4娴阶约旱腉對象里面。當(dāng)再次輪到自己執(zhí)行時,將自己保存的棧信息復(fù)制到寄存器里面,這樣就接著上次之后運行了。
我這里只是根據(jù)自己的理解進(jìn)行了簡單的介紹,想要詳細(xì)了解有關(guān)GMP的底層原理可以去看Go調(diào)度器 G-P-M 模型的設(shè)計者的文檔或直接看源碼
參考: ()
()
參考:
Goroutine并發(fā)調(diào)度模型深度解析手?jǐn)]一個協(xié)程池
Golang 的 goroutine 是如何實現(xiàn)的?
Golang - 調(diào)度剖析【第二部分】
OS線程初始棧為2MB。Go語言中,每個goroutine采用動態(tài)擴(kuò)容方式,初始2KB,按需增長,最大1G。此外GC會收縮??臻g。
BTW,增長擴(kuò)容都是有代價的,需要copy數(shù)據(jù)到新的stack,所以初始2KB可能有些性能問題。
更多關(guān)于stack的內(nèi)容,可以參見大佬的文章。 聊一聊goroutine stack
用戶線程的調(diào)度以及生命周期管理都是用戶層面,Go語言自己實現(xiàn)的,不借助OS系統(tǒng)調(diào)用,減少系統(tǒng)資源消耗。
Go語言采用兩級線程模型,即用戶線程與內(nèi)核線程KSE(kernel scheduling entity)是M:N的。最終goroutine還是會交給OS線程執(zhí)行,但是需要一個中介,提供上下文。這就是G-M-P模型
Go調(diào)度器有兩個不同的運行隊列:
go1.10\src\runtime\runtime2.go
Go調(diào)度器根據(jù)事件進(jìn)行上下文切換。
調(diào)度的目的就是防止M堵塞,空閑,系統(tǒng)進(jìn)程切換。
詳見 Golang - 調(diào)度剖析【第二部分】
Linux可以通過epoll實現(xiàn)網(wǎng)絡(luò)調(diào)用,統(tǒng)稱網(wǎng)絡(luò)輪詢器N(Net Poller)。
文件IO操作
上面都是防止M堵塞,任務(wù)竊取是防止M空閑
每個M都有一個特殊的G,g0。用于執(zhí)行調(diào)度,gc,棧管理等任務(wù),所以g0的棧稱為調(diào)度棧。g0的棧不會自動增長,不會被gc,來自os線程的棧。
go1.10\src\runtime\proc.go
G沒辦法自己運行,必須通過M運行
M通過通過調(diào)度,執(zhí)行G
從M掛載P的runq中找到G,執(zhí)行G
Go有四大核心模塊,基本全部體現(xiàn)在runtime,有調(diào)度系統(tǒng)、GC、goroutine、channel,那么深入理解其中的精髓可以幫助我們理解Go這一門語言!
參考: 調(diào)度系統(tǒng)設(shè)計精要
下面是我用Go語言簡單寫的一個調(diào)度器,大家可以看看設(shè)計思路,以及存在的問題!
1、測試條件,調(diào)度器只啟動兩個線程,然后一個線程主要是負(fù)責(zé)循環(huán)的添加任務(wù),一個線程循環(huán)的去執(zhí)行任務(wù)
2、測試條件,調(diào)度器啟動三個線程,然后兩個線程去執(zhí)行任務(wù),一個添加任務(wù)
3、繼續(xù)測試,啟動十個線程,一個添加任務(wù),九個執(zhí)行任務(wù)
4、我們添加一些阻塞的任務(wù)
執(zhí)行可以看到完全不可用
1、 可以看到隨著M的不斷的增加,可以發(fā)現(xiàn)執(zhí)行任務(wù)的數(shù)量也不斷的減少,原因是什么呢?有興趣的同學(xué)可以加一個pprof可以看看,其實大量的在等待鎖的過程!
2、如果我的M運行了類似于Sleep操作的方法如何解決了,我的調(diào)度器還能支撐這個量級的調(diào)度嗎?
關(guān)于pprof如何使用:在代碼頭部加一個這個代碼:
我們查看一下 go tool pprof main/prof.pporf
可以看到真正執(zhí)行代碼的時間只有 0.17s + 0.02s 其他時間都被阻塞掉了!
1、GM模型中的所有G都是放入到一個queue,那么導(dǎo)致所有的M取執(zhí)行任務(wù)時都會去競爭鎖,我們插入G也會去競爭鎖,所以解決這種問題一般就是減少對單一資源的競爭,那就是桶化,其實就是每個線程都分配一個隊列
2、GM模型中沒有任務(wù)狀態(tài),只有runnable,假如任務(wù)遇到阻塞,完全可以把任務(wù)掛起再喚醒
這里其實會遇到一個問題,假如要分配很多個線程,那么此時隨著線程的增加,也會造成隊列的增加,其實也會造成調(diào)度器的壓力,因為它需要遍歷全部線程的隊列去分配任務(wù)以及后續(xù)會講到的竊取任務(wù)!
因為我們知道CPU的最大并行度其實取決于CPU的核數(shù),也就是我們沒必要為每個線程都去分配一個隊列,因為就算是給他們分配了,他們自己去那執(zhí)行調(diào)度,其實也會出現(xiàn)大量阻塞,原因就是CPU調(diào)度不過來這些線程!
Go里面是只分配了CPU個數(shù)的隊列,這里就是P這個概念,你可以理解為P其實是真正的資源分配器,M很輕只是執(zhí)行程序,所有的資源內(nèi)存都維護(hù)在P上!M只有綁定P才能執(zhí)行任務(wù)(強(qiáng)制的)!
這樣做的好處:
1、首先調(diào)度程序其實就是調(diào)度不同狀態(tài)的任務(wù),go里面為Go標(biāo)記了不同的狀態(tài),其實大概就是分為:runnable,running,block等,所以如何充分調(diào)度不同狀態(tài)的G成了問題,那么關(guān)于阻塞的G如何解決,其實可以很好的解決G調(diào)度的問題!
上面這些情況其實就分為:
2、用戶態(tài)阻塞,一般Go里面依靠 gopark 函數(shù)去實現(xiàn),大體的代碼邏輯基本上和go的調(diào)度綁定死了
源碼在:
3、其實對于netpool 這種nio模型,其實內(nèi)核調(diào)用是非阻塞的,所以go開辟了一個網(wǎng)絡(luò)輪訓(xùn)器隊列,來存放這些被阻塞的g,等待內(nèi)核被喚醒!那么什么時候會被喚醒了,其實就是需要等待調(diào)度器去調(diào)度了!
4、如果是內(nèi)核態(tài)阻塞了(內(nèi)核態(tài)阻塞一般都會將線程掛起,線程需要等待被喚醒),我們此時P只能放棄此線程的權(quán)利,然后再找一個新的線程去運行P!
關(guān)于著新線程:找有沒有idle的線程,沒有就會創(chuàng)建一個新的線程!
關(guān)于當(dāng)內(nèi)核被喚醒后的操作:因為GPM模型所以需要找到個P綁定,所以G會去嘗試找一個可用的P,如果沒有可用的P,G會標(biāo)記為runnable放到全局隊列中!
5、其實了解上面大致其實就了解了Go的基本調(diào)度模型
答案文章里慢慢品味!
如果某個 G 執(zhí)行時間過長,其他的 G 如何才能被正常的調(diào)度? 這便涉及到有關(guān)調(diào)度的兩個理念:協(xié)作式調(diào)度與搶占式調(diào)度。協(xié)作式和搶占式這兩個理念解釋起來很簡單: 協(xié)作式調(diào)度依靠被調(diào)度方主動棄權(quán);搶占式調(diào)度則依靠調(diào)度器強(qiáng)制將被調(diào)度方被動中斷。
例如下面的代碼,我本地的版本是 go1.13.5
執(zhí)行: GOMAXPROCS=1 配置全局只能有一個P
可以看到main函數(shù)無法執(zhí)行!也就是那個go 空轉(zhuǎn)搶占了整個程序
備注:
但是假如我換為用 1.14+版本執(zhí)行,有興趣的話可以使用我的docker鏡像,直接可以拉?。? fanhaodong/golang:1.15.11 和 fanhaodong/golang:1.13.5
首先我們知道G/M/P,G可能和M也可能和P解除綁定,那么關(guān)于數(shù)據(jù)變量放在哪哇!其實這個就是逃逸分析!
輸出可以看到其實沒有發(fā)生逃逸,那是因為 demo被拷貝它自己的??臻g內(nèi)
備注:
-gcflags"-N -l -m" 其中 -N禁用優(yōu)化-l禁止內(nèi)聯(lián)優(yōu)化,-m打印逃逸信息
那么繼續(xù)改成這個
可以看到發(fā)現(xiàn) demo對象其實被逃逸到了堆上!這就是不會出現(xiàn)類似于G如果被別的M執(zhí)行,其實不會出現(xiàn)內(nèi)存分配位置的問題!
所以可以看到demo其實是copy到了堆上!這就是g逃逸的問題,和for循環(huán)一樣的
執(zhí)行可以發(fā)現(xiàn),其實x已經(jīng)逃逸到了堆上,所以你所有的g都引用的一個對象,如何解決了
如何解決了,其實很簡單
也談goroutine調(diào)度器
圖解Go運行時調(diào)度器
Go語言回顧:從Go 1.0到Go 1.13
Go語言原本
調(diào)度系統(tǒng)設(shè)計精要
Scalable Go Scheduler Design Doc