真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

go語言的線程和攜程 go協(xié)程和線程

【golang詳解】go語言GMP(GPM)原理和調度

Goroutine調度是一個很復雜的機制,下面嘗試用簡單的語言描述一下Goroutine調度機制,想要對其有更深入的了解可以去研讀一下源碼。

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設,長寧企業(yè)網(wǎng)站建設,長寧品牌網(wǎng)站建設,網(wǎng)站定制,長寧網(wǎng)站建設報價,網(wǎng)絡營銷,網(wǎng)絡優(yōu)化,長寧網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿,時刻以成就客戶成長自我,堅持不斷學習、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

首先介紹一下GMP什么意思:

G ----------- goroutine: 即Go協(xié)程,每個go關鍵字都會創(chuàng)建一個協(xié)程。

M ---------- thread內(nèi)核級線程,所有的G都要放在M上才能運行。

P ----------- processor處理器,調度G到M上,其維護了一個隊列,存儲了所有需要它來調度的G。

Goroutine 調度器P和 OS 調度器是通過 M 結合起來的,每個 M 都代表了 1 個內(nèi)核線程,OS 調度器負責把內(nèi)核線程分配到 CPU 的核上執(zhí)行

模型圖:

避免頻繁的創(chuàng)建、銷毀線程,而是對線程的復用。

1)work stealing機制

當本線程無可運行的G時,嘗試從其他線程綁定的P偷取G,而不是銷毀線程。

2)hand off機制

當本線程M0因為G0進行系統(tǒng)調用阻塞時,線程釋放綁定的P,把P轉移給其他空閑的線程執(zhí)行。進而某個空閑的M1獲取P,繼續(xù)執(zhí)行P隊列中剩下的G。而M0由于陷入系統(tǒng)調用而進被阻塞,M1接替M0的工作,只要P不空閑,就可以保證充分利用CPU。M1的來源有可能是M的緩存池,也可能是新建的。當G0系統(tǒng)調用結束后,根據(jù)M0是否能獲取到P,將會將G0做不同的處理:

如果有空閑的P,則獲取一個P,繼續(xù)執(zhí)行G0。

如果沒有空閑的P,則將G0放入全局隊列,等待被其他的P調度。然后M0將進入緩存池睡眠。

如下圖

GOMAXPROCS設置P的數(shù)量,最多有GOMAXPROCS個線程分布在多個CPU上同時運行

在Go中一個goroutine最多占用CPU 10ms,防止其他goroutine被餓死。

具體可以去看另一篇文章

【Golang詳解】go語言調度機制 搶占式調度

當創(chuàng)建一個新的G之后優(yōu)先加入本地隊列,如果本地隊列滿了,會將本地隊列的G移動到全局隊列里面,當M執(zhí)行work stealing從其他P偷不到G時,它可以從全局G隊列獲取G。

協(xié)程經(jīng)歷過程

我們創(chuàng)建一個協(xié)程 go func()經(jīng)歷過程如下圖:

說明:

這里有兩個存儲G的隊列,一個是局部調度器P的本地隊列、一個是全局G隊列。新創(chuàng)建的G會先保存在P的本地隊列中,如果P的本地隊列已經(jīng)滿了就會保存在全局的隊列中;處理器本地隊列是一個使用數(shù)組構成的環(huán)形鏈表,它最多可以存儲 256 個待執(zhí)行任務。

G只能運行在M中,一個M必須持有一個P,M與P是1:1的關系。M會從P的本地隊列彈出一個可執(zhí)行狀態(tài)的G來執(zhí)行,如果P的本地隊列為空,就會想其他的MP組合偷取一個可執(zhí)行的G來執(zhí)行;

一個M調度G執(zhí)行的過程是一個循環(huán)機制;會一直從本地隊列或全局隊列中獲取G

上面說到P的個數(shù)默認等于CPU核數(shù),每個M必須持有一個P才可以執(zhí)行G,一般情況下M的個數(shù)會略大于P的個數(shù),這多出來的M將會在G產(chǎn)生系統(tǒng)調用時發(fā)揮作用。類似線程池,Go也提供一個M的池子,需要時從池子中獲取,用完放回池子,不夠用時就再創(chuàng)建一個。

work-stealing調度算法:當M執(zhí)行完了當前P的本地隊列隊列里的所有G后,P也不會就這么在那躺尸啥都不干,它會先嘗試從全局隊列隊列尋找G來執(zhí)行,如果全局隊列為空,它會隨機挑選另外一個P,從它的隊列里中拿走一半的G到自己的隊列中執(zhí)行。

如果一切正常,調度器會以上述的那種方式順暢地運行,但這個世界沒這么美好,總有意外發(fā)生,以下分析goroutine在兩種例外情況下的行為。

Go runtime會在下面的goroutine被阻塞的情況下運行另外一個goroutine:

用戶態(tài)阻塞/喚醒

當goroutine因為channel操作或者network I/O而阻塞時(實際上golang已經(jīng)用netpoller實現(xiàn)了goroutine網(wǎng)絡I/O阻塞不會導致M被阻塞,僅阻塞G,這里僅僅是舉個栗子),對應的G會被放置到某個wait隊列(如channel的waitq),該G的狀態(tài)由_Gruning變?yōu)開Gwaitting,而M會跳過該G嘗試獲取并執(zhí)行下一個G,如果此時沒有可運行的G供M運行,那么M將解綁P,并進入sleep狀態(tài);當阻塞的G被另一端的G2喚醒時(比如channel的可讀/寫通知),G被標記為,嘗試加入G2所在P的runnext(runnext是線程下一個需要執(zhí)行的 Goroutine。), 然后再是P的本地隊列和全局隊列。

系統(tǒng)調用阻塞

當M執(zhí)行某一個G時候如果發(fā)生了阻塞操作,M會阻塞,如果當前有一些G在執(zhí)行,調度器會把這個線程M從P中摘除,然后再創(chuàng)建一個新的操作系統(tǒng)的線程(如果有空閑的線程可用就復用空閑線程)來服務于這個P。當M系統(tǒng)調用結束時候,這個G會嘗試獲取一個空閑的P執(zhí)行,并放入到這個P的本地隊列。如果獲取不到P,那么這個線程M變成休眠狀態(tài), 加入到空閑線程中,然后這個G會被放入全局隊列中。

隊列輪轉

可見每個P維護著一個包含G的隊列,不考慮G進入系統(tǒng)調用或IO操作的情況下,P周期性的將G調度到M中執(zhí)行,執(zhí)行一小段時間,將上下文保存下來,然后將G放到隊列尾部,然后從隊列中重新取出一個G進行調度。

除了每個P維護的G隊列以外,還有一個全局的隊列,每個P會周期性地查看全局隊列中是否有G待運行并將其調度到M中執(zhí)行,全局隊列中G的來源,主要有從系統(tǒng)調用中恢復的G。之所以P會周期性地查看全局隊列,也是為了防止全局隊列中的G被餓死。

除了每個P維護的G隊列以外,還有一個全局的隊列,每個P會周期性地查看全局隊列中是否有G待運行并將其調度到M中執(zhí)行,全局隊列中G的來源,主要有從系統(tǒng)調用中恢復的G。之所以P會周期性地查看全局隊列,也是為了防止全局隊列中的G被餓死。

M0

M0是啟動程序后的編號為0的主線程,這個M對應的實例會在全局變量rutime.m0中,不需要在heap上分配,M0負責執(zhí)行初始化操作和啟動第一個G,在之后M0就和其他的M一樣了

G0

G0是每次啟動一個M都會第一個創(chuàng)建的goroutine,G0僅用于負責調度G,G0不指向任何可執(zhí)行的函數(shù),每個M都會有一個自己的G0,在調度或系統(tǒng)調用時會使用G0的??臻g,全局變量的G0是M0的G0

一個G由于調度被中斷,此后如何恢復?

中斷的時候將寄存器里的棧信息,保存到自己的G對象里面。當再次輪到自己執(zhí)行時,將自己保存的棧信息復制到寄存器里面,這樣就接著上次之后運行了。

我這里只是根據(jù)自己的理解進行了簡單的介紹,想要詳細了解有關GMP的底層原理可以去看Go調度器 G-P-M 模型的設計者的文檔或直接看源碼

參考: ()

()

Go語言——goroutine并發(fā)模型

參考:

Goroutine并發(fā)調度模型深度解析手擼一個協(xié)程池

Golang 的 goroutine 是如何實現(xiàn)的?

Golang - 調度剖析【第二部分】

OS線程初始棧為2MB。Go語言中,每個goroutine采用動態(tài)擴容方式,初始2KB,按需增長,最大1G。此外GC會收縮??臻g。

BTW,增長擴容都是有代價的,需要copy數(shù)據(jù)到新的stack,所以初始2KB可能有些性能問題。

更多關于stack的內(nèi)容,可以參見大佬的文章。 聊一聊goroutine stack

用戶線程的調度以及生命周期管理都是用戶層面,Go語言自己實現(xiàn)的,不借助OS系統(tǒng)調用,減少系統(tǒng)資源消耗。

Go語言采用兩級線程模型,即用戶線程與內(nèi)核線程KSE(kernel scheduling entity)是M:N的。最終goroutine還是會交給OS線程執(zhí)行,但是需要一個中介,提供上下文。這就是G-M-P模型

Go調度器有兩個不同的運行隊列:

go1.10\src\runtime\runtime2.go

Go調度器根據(jù)事件進行上下文切換。

調度的目的就是防止M堵塞,空閑,系統(tǒng)進程切換。

詳見 Golang - 調度剖析【第二部分】

Linux可以通過epoll實現(xiàn)網(wǎng)絡調用,統(tǒng)稱網(wǎng)絡輪詢器N(Net Poller)。

文件IO操作

上面都是防止M堵塞,任務竊取是防止M空閑

每個M都有一個特殊的G,g0。用于執(zhí)行調度,gc,棧管理等任務,所以g0的棧稱為調度棧。g0的棧不會自動增長,不會被gc,來自os線程的棧。

go1.10\src\runtime\proc.go

G沒辦法自己運行,必須通過M運行

M通過通過調度,執(zhí)行G

從M掛載P的runq中找到G,執(zhí)行G

go語言語法(基礎語法篇)

import "workname/packetfolder"

導入多個包

方法調用 包名.函數(shù)//不是函數(shù)或結構體所處文件或文件夾名

packagename.Func()

前面加個點表示省略調用,那么調用該模塊里面的函數(shù),可以不用寫模塊名稱了:

當導入一個包時,該包下的文件里所有init()函數(shù)都會被執(zhí)行,然而,有些時候我們并不需要把整個包都導入進來,僅僅是是希望它執(zhí)行init()函數(shù)而已。下劃線的作用僅僅是為了調用init()函數(shù),所以無法通過包名來調用包中的其他函數(shù)

import _ package

變量聲明必須要使用否則會報錯。

全局變量運行聲明但不使用。

func 函數(shù)名 (參數(shù)1,參數(shù)2,...) (返回值a 類型a, 返回值b 類型b,...)

func 函數(shù)名 (參數(shù)1,參數(shù)2,...) (返回值類型1, 返回值類型2,...)

func (this *結構體名) 函數(shù)名(參數(shù) string) (返回值類型1, 返回值類型2){}

使用大小來區(qū)分函數(shù)可見性

大寫是public類型

小寫是private類型

func prifunc int{}

func pubfunc int{}

聲明靜態(tài)變量

const value int

定義變量

var value int

聲明一般類型、接口和結構體

聲明函數(shù)

func function () int{}

go里面所有的空值對應如下

通道類型

內(nèi)建函數(shù) new 用來分配內(nèi)存,它的第一個參數(shù)是一個類型,不是一個值,它的返回值是一個指向新分配類型零值的指針

func new(Type) *Type

[這位博主有非常詳細的分析]

Go 語言支持并發(fā),我們只需要通過 go 關鍵字來開啟 goroutine 即可。

goroutine 是輕量級線程,goroutine 的調度是由 Golang 運行時進行管理的。

同一個程序中的所有 goroutine 共享同一個地址空間。

語法格式如下:

通道(channel)是用來傳遞數(shù)據(jù)的一個數(shù)據(jù)結構。

通道的聲明

通道可用于兩個 goroutine 之間通過傳遞一個指定類型的值來同步運行和通訊。操作符 - 用于指定通道的方向,發(fā)送或接收。如果未指定方向,則為雙向通道。

[這里有比較詳細的用例]

go里面的空接口可以指代任何類型(無論是變量還是函數(shù))

聲明空接口

go里面的的強制類型轉換語法為:

int(data)

如果是接口類型的強制轉成其他類型的語法為:

go里面的強制轉換是將值復制過去,所以在數(shù)據(jù)量的時候有比較高的運行代價

什么是攜程函數(shù)呢?

1.攜程函數(shù)就是讓出協(xié)程(線程)。當 C 函數(shù)調用了 l ua_yieldk, 當前運行的協(xié)程會掛起, 啟動這個線程的 lu a_resume 調用返回。 參數(shù) nresults 指棧上需返回給 lu a_resume 的返回值的個數(shù)。

當協(xié)程再次被延續(xù)時, L ua 調用延續(xù)函數(shù) k 繼續(xù)運行被掛起()的 C 函數(shù)。 延續(xù)函數(shù)會從前一個函數(shù)中接收到相同的棧, 棧中的 n 個返回值被移除而壓入了從 lu a_resume 傳入的參數(shù)。 此外,延續(xù)函數(shù)還會收到傳給 lu a_yieldk 的參數(shù) ctx。

通常,這個函數(shù)不會返回; 當協(xié)程一次次延續(xù),將從延續(xù)函數(shù)繼續(xù)運行。 然而,有一個例外: 當這個函數(shù)從一個逐行運行的鉤子函數(shù)(參見 ) 中調用時,lu a_yieldk 不可以提供延續(xù)函數(shù)。 (也就是類似 l ua_yield 的形式), 而此時,鉤子函數(shù)在調用完讓出后將立刻返回。 Lu a 會使協(xié)程讓出,一旦協(xié)程再次被延續(xù), 觸發(fā)鉤子的函數(shù)會繼續(xù)正常運行。

2.當一個線程處于未提供延續(xù)函數(shù)的 C 調用中,調用它會拋出一個錯誤。 從并非用延續(xù)方式(例如:主線程)啟動的線程中調用它也會這樣

交換同一個狀態(tài)機下不同線程中的值。

這個函數(shù)會從 from 的棧上彈出 n 個值, 然后把它們壓入 to 的棧上。

這個函數(shù)等價于調用 lua_yieldk, 不同的是不提供延續(xù)函數(shù)(參見 )。 因此,當線程被延續(xù),線程會繼續(xù)運行調用 lu a_yield 函數(shù)的函數(shù)。

3.如果給定索引處的值是一個完全用戶數(shù)據(jù), 函數(shù)返回其內(nèi)存塊的地址。 如果值是一個輕量用戶數(shù)據(jù), 那么就返回它表示的指針。 否則,返回 NULL 。

把給定索引處的 L ua 值轉換為一個 C 字符串。 如果 len 不為 NULL , 它還把字符串長度設到 *len 中。 這個 Lua 值必須是一個字符串或是一個數(shù)字; 否則返回返回 NULL 。 如果值是一個數(shù)字, l ua_tolstring 還會 把堆棧中的那個值的實際類型轉換為一個字符串。 (當遍歷一張表5.的時候, 若把 l ua_tolstring 作用在鍵上, 這個轉換有可能導致 l ua_next 弄錯。)

lu a_tolstring 返回一個已對齊指針 指向 L ua 狀態(tài)機中的字符串。 這個字符串總能保證 ( C 要求的)最后一個字符為零 ('\0') , 而且它允許在字符串內(nèi)包含多個這樣的零。

因為 L ua 中可能發(fā)生垃圾收集, 所以不保證 lua_tolstring 返回的指針, 在對應的值從堆棧中移除后依然有效。

6.(例如:主線程)啟動的線程中調用它也會這樣

交換同一個狀態(tài)機下不同線程中的值。

這個函數(shù)會從 from 的棧上彈出 n 個值, 然后把它們壓入 to 的棧上。

這個函數(shù)等價于調用 lua_yieldk, 不同的是不提供延續(xù)函數(shù)(參見 )。 因此,當線程被延續(xù),線程會繼續(xù)運行調用 lu a_yield 函數(shù)的函數(shù)。

為什么go語言適合開發(fā)網(wǎng)游服務器端

前段時間在golang-China讀到這個貼:

個人覺得golang十分適合進行網(wǎng)游服務器端開發(fā),寫下這篇文章總結一下。

從網(wǎng)游的角度看:

要成功的運營一款網(wǎng)游,很大程度上依賴于玩家自發(fā)形成的社區(qū)。只有玩家自發(fā)形成一個穩(wěn)定的生態(tài)系統(tǒng),游戲才能持續(xù)下去,避免鬼城的出現(xiàn)。而這就需要多次大量導入用戶,在同時在線用戶量達到某個臨界點的時候,才有可能完成。因此,多人同時在線十分有必要。

再來看網(wǎng)游的常見玩法,除了排行榜這類統(tǒng)計和數(shù)據(jù)匯總的功能外,基本沒有需要大量CPU時間的應用。以前的項目里,即時戰(zhàn)斗產(chǎn)生的各種傷害計算對CPU的消耗也不大。玩家要完成一次操作,需要通過客戶端-服務器端-客戶端這樣一個來回,為了獲得高響應速度,滿足玩家體驗,服務器端的處理也不能占用太多時間。所以,每次請求對應的CPU占用是比較小的。

網(wǎng)游的IO主要分兩個方面,一個是網(wǎng)絡IO,一個是磁盤IO。網(wǎng)絡IO方面,可以分成美術資源的IO和游戲邏輯指令的IO,這里主要分析游戲邏輯的IO。游戲邏輯的IO跟CPU占用的情況相似,每次請求的字節(jié)數(shù)很小,但由于多人同時在線,因此并發(fā)數(shù)相當高。另外,地圖信息的廣播也會帶來比較頻繁的網(wǎng)絡通信。磁盤IO方面,主要是游戲數(shù)據(jù)的保存。采用不同的數(shù)據(jù)庫,會有比較大的區(qū)別。以前的項目里,就經(jīng)歷了從MySQL轉向MongoDB這種內(nèi)存數(shù)據(jù)庫的過程,磁盤IO不再是瓶頸??傮w來說,還是用內(nèi)存做一級緩沖,避免大量小數(shù)據(jù)塊讀寫的方案。

針對網(wǎng)游的這些特點,golang的語言特性十分適合開發(fā)游戲服務器端。

首先,go語言提供goroutine機制作為原生的并發(fā)機制。每個goroutine所需的內(nèi)存很少,實際應用中可以啟動大量的goroutine對并發(fā)連接進行響應。goroutine與gevent中的greenlet很相像,遇到IO阻塞的時候,調度器就會自動切換到另一個goroutine執(zhí)行,保證CPU不會因為IO而發(fā)生等待。而goroutine與gevent相比,沒有了python底層的GIL限制,就不需要利用多進程來榨取多核機器的性能了。通過設置最大線程數(shù),可以控制go所啟動的線程,每個線程執(zhí)行一個goroutine,讓CPU滿負載運行。

同時,go語言為goroutine提供了獨到的通信機制channel。channel發(fā)生讀寫的時候,也會掛起當前操作channel的goroutine,是一種同步阻塞通信。這樣既達到了通信的目的,又實現(xiàn)同步,用CSP模型的觀點看,并發(fā)模型就是通過一組進程和進程間的事件觸發(fā)解決任務的。雖然說,主流的編程語言之間,只要是圖靈完備的,他們就都能實現(xiàn)相同的功能。但go語言提供的這種協(xié)程間通信機制,十分優(yōu)雅地揭示了協(xié)程通信的本質,避免了以往鎖的顯式使用帶給程序員的心理負擔,確是一大優(yōu)勢。進行網(wǎng)游開發(fā)的程序員,可以將游戲邏輯按照單線程阻塞式的寫,不需要額外考慮線程調度的問題,以及線程間數(shù)據(jù)依賴的問題。因為,線程間的channel通信,已經(jīng)表達了線程間的數(shù)據(jù)依賴關系了,而go的調度器會給予妥善的處理。

另外,go語言提供的gc機制,以及對指針的保護式使用,可以大大減輕程序員的開發(fā)壓力,提高開發(fā)效率。

展望未來,我期待go語言社區(qū)能夠提供更多的goroutine間的隔離機制。個人十分推崇erlang社區(qū)的脆崩哲學,推動應用發(fā)生預期外行為時,盡早崩潰,再fork出新進程處理新的請求。對于協(xié)程機制,需要由程序員保證執(zhí)行的函數(shù)不會發(fā)生死循環(huán),導致線程卡死。如果能夠定制goroutine所執(zhí)行函數(shù)的最大CPU執(zhí)行時間,及所能使用的最大內(nèi)存空間,對于提升系統(tǒng)的魯棒性,大有裨益。

程序員從c/c++轉到Go語言怎么樣?

從c

c++轉go語言,非常簡單。需要了解的也就是語法問題。好在go語法也非常簡練,不像python有非常多的語法糖。而且go有自帶的資源回收機制,在多線程服務端開發(fā)方面,設計簡單非常多。同時支持比線程更輕量級的攜程,調用也非常簡單。不像c語言創(chuàng)建線程進城語言參數(shù)復雜的系統(tǒng)調用。


網(wǎng)頁題目:go語言的線程和攜程 go協(xié)程和線程
轉載注明:http://weahome.cn/article/hgiicp.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部