Goroutine調(diào)度是一個很復(fù)雜的機制，下面嘗試用簡單的語言描述一下Goroutine調(diào)度機制，想要對其有更深入的了解可以去研讀一下源碼。
成都創(chuàng)新互聯(lián)服務(wù)項目包括濱城網(wǎng)站建設(shè)、濱城網(wǎng)站制作、濱城網(wǎng)頁制作以及濱城網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，濱城網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到濱城省份的部分城市，未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！
首先介紹一下GMP什么意思：
G ----------- goroutine: 即Go協(xié)程，每個go關(guān)鍵字都會創(chuàng)建一個協(xié)程。
M ---------- thread內(nèi)核級線程，所有的G都要放在M上才能運行。
P ----------- processor處理器，調(diào)度G到M上，其維護了一個隊列，存儲了所有需要它來調(diào)度的G。
Goroutine 調(diào)度器P和 OS 調(diào)度器是通過 M 結(jié)合起來的，每個 M 都代表了 1 個內(nèi)核線程，OS 調(diào)度器負責(zé)把內(nèi)核線程分配到 CPU 的核上執(zhí)行
模型圖：
避免頻繁的創(chuàng)建、銷毀線程，而是對線程的復(fù)用。
1）work stealing機制
當(dāng)本線程無可運行的G時，嘗試從其他線程綁定的P偷取G，而不是銷毀線程。
2）hand off機制
當(dāng)本線程M0因為G0進行系統(tǒng)調(diào)用阻塞時，線程釋放綁定的P，把P轉(zhuǎn)移給其他空閑的線程執(zhí)行。進而某個空閑的M1獲取P，繼續(xù)執(zhí)行P隊列中剩下的G。而M0由于陷入系統(tǒng)調(diào)用而進被阻塞，M1接替M0的工作，只要P不空閑，就可以保證充分利用CPU。M1的來源有可能是M的緩存池，也可能是新建的。當(dāng)G0系統(tǒng)調(diào)用結(jié)束后，根據(jù)M0是否能獲取到P，將會將G0做不同的處理：
如果有空閑的P，則獲取一個P，繼續(xù)執(zhí)行G0。
如果沒有空閑的P，則將G0放入全局隊列，等待被其他的P調(diào)度。然后M0將進入緩存池睡眠。
如下圖
GOMAXPROCS設(shè)置P的數(shù)量，最多有GOMAXPROCS個線程分布在多個CPU上同時運行
在Go中一個goroutine最多占用CPU 10ms，防止其他goroutine被餓死。
具體可以去看另一篇文章
【Golang詳解】go語言調(diào)度機制 搶占式調(diào)度
當(dāng)創(chuàng)建一個新的G之后優(yōu)先加入本地隊列，如果本地隊列滿了，會將本地隊列的G移動到全局隊列里面，當(dāng)M執(zhí)行work stealing從其他P偷不到G時，它可以從全局G隊列獲取G。
協(xié)程經(jīng)歷過程
我們創(chuàng)建一個協(xié)程 go func()經(jīng)歷過程如下圖：
說明：
這里有兩個存儲G的隊列，一個是局部調(diào)度器P的本地隊列、一個是全局G隊列。新創(chuàng)建的G會先保存在P的本地隊列中，如果P的本地隊列已經(jīng)滿了就會保存在全局的隊列中；處理器本地隊列是一個使用數(shù)組構(gòu)成的環(huán)形鏈表，它最多可以存儲 256 個待執(zhí)行任務(wù)。
G只能運行在M中，一個M必須持有一個P，M與P是1：1的關(guān)系。M會從P的本地隊列彈出一個可執(zhí)行狀態(tài)的G來執(zhí)行，如果P的本地隊列為空，就會想其他的MP組合偷取一個可執(zhí)行的G來執(zhí)行；
一個M調(diào)度G執(zhí)行的過程是一個循環(huán)機制；會一直從本地隊列或全局隊列中獲取G
上面說到P的個數(shù)默認等于CPU核數(shù)，每個M必須持有一個P才可以執(zhí)行G，一般情況下M的個數(shù)會略大于P的個數(shù)，這多出來的M將會在G產(chǎn)生系統(tǒng)調(diào)用時發(fā)揮作用。類似線程池，Go也提供一個M的池子，需要時從池子中獲取，用完放回池子，不夠用時就再創(chuàng)建一個。
work-stealing調(diào)度算法：當(dāng)M執(zhí)行完了當(dāng)前P的本地隊列隊列里的所有G后，P也不會就這么在那躺尸啥都不干，它會先嘗試從全局隊列隊列尋找G來執(zhí)行，如果全局隊列為空，它會隨機挑選另外一個P，從它的隊列里中拿走一半的G到自己的隊列中執(zhí)行。
如果一切正常，調(diào)度器會以上述的那種方式順暢地運行，但這個世界沒這么美好，總有意外發(fā)生，以下分析goroutine在兩種例外情況下的行為。
Go runtime會在下面的goroutine被阻塞的情況下運行另外一個goroutine：
用戶態(tài)阻塞/喚醒
當(dāng)goroutine因為channel操作或者network I/O而阻塞時（實際上golang已經(jīng)用netpoller實現(xiàn)了goroutine網(wǎng)絡(luò)I/O阻塞不會導(dǎo)致M被阻塞，僅阻塞G，這里僅僅是舉個栗子），對應(yīng)的G會被放置到某個wait隊列(如channel的waitq)，該G的狀態(tài)由_Gruning變?yōu)開Gwaitting，而M會跳過該G嘗試獲取并執(zhí)行下一個G，如果此時沒有可運行的G供M運行，那么M將解綁P，并進入sleep狀態(tài)；當(dāng)阻塞的G被另一端的G2喚醒時（比如channel的可讀/寫通知），G被標記為，嘗試加入G2所在P的runnext（runnext是線程下一個需要執(zhí)行的 Goroutine。）， 然后再是P的本地隊列和全局隊列。
系統(tǒng)調(diào)用阻塞
當(dāng)M執(zhí)行某一個G時候如果發(fā)生了阻塞操作，M會阻塞，如果當(dāng)前有一些G在執(zhí)行，調(diào)度器會把這個線程M從P中摘除，然后再創(chuàng)建一個新的操作系統(tǒng)的線程(如果有空閑的線程可用就復(fù)用空閑線程)來服務(wù)于這個P。當(dāng)M系統(tǒng)調(diào)用結(jié)束時候，這個G會嘗試獲取一個空閑的P執(zhí)行，并放入到這個P的本地隊列。如果獲取不到P，那么這個線程M變成休眠狀態(tài)， 加入到空閑線程中，然后這個G會被放入全局隊列中。
隊列輪轉(zhuǎn)
可見每個P維護著一個包含G的隊列，不考慮G進入系統(tǒng)調(diào)用或IO操作的情況下，P周期性的將G調(diào)度到M中執(zhí)行，執(zhí)行一小段時間，將上下文保存下來，然后將G放到隊列尾部，然后從隊列中重新取出一個G進行調(diào)度。
除了每個P維護的G隊列以外，還有一個全局的隊列，每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行，全局隊列中G的來源，主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會周期性地查看全局隊列，也是為了防止全局隊列中的G被餓死。
除了每個P維護的G隊列以外，還有一個全局的隊列，每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行，全局隊列中G的來源，主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會周期性地查看全局隊列，也是為了防止全局隊列中的G被餓死。
M0
M0是啟動程序后的編號為0的主線程，這個M對應(yīng)的實例會在全局變量rutime.m0中，不需要在heap上分配，M0負責(zé)執(zhí)行初始化操作和啟動第一個G，在之后M0就和其他的M一樣了
G0
G0是每次啟動一個M都會第一個創(chuàng)建的goroutine，G0僅用于負責(zé)調(diào)度G，G0不指向任何可執(zhí)行的函數(shù)，每個M都會有一個自己的G0，在調(diào)度或系統(tǒng)調(diào)用時會使用G0的?？臻g，全局變量的G0是M0的G0
一個G由于調(diào)度被中斷，此后如何恢復(fù)？
中斷的時候?qū)⒓拇嫫骼锏臈Ｐ畔ⅲ４娴阶约旱腉對象里面。當(dāng)再次輪到自己執(zhí)行時，將自己保存的棧信息復(fù)制到寄存器里面，這樣就接著上次之后運行了。
我這里只是根據(jù)自己的理解進行了簡單的介紹，想要詳細了解有關(guān)GMP的底層原理可以去看Go調(diào)度器 G-P-M 模型的設(shè)計者的文檔或直接看源碼
參考： ()
()
可以去DELVE官網(wǎng)進行下載。
關(guān)于delve工具的介紹，這里簡單給大家介紹一下。
delve在go項目及應(yīng)用的開發(fā)中可以用來追蹤程序中的異常代碼，也可以通過打日志的方式追查問題，但是更重要也是非常厲害的一點，就是delve可以直接分析程序執(zhí)行的情況。這一點在后期或線上的問題排查中無疑是提供了一個非常大的便捷。
Go（又稱?Golang）是?Google?的 Robert Griesemer，Rob Pike 及 Ken Thompson 開發(fā)的一種靜態(tài)強類型、編譯型語言。
Go 語言語法與?C?相近，但功能上有：內(nèi)存安全，GC（垃圾回收），結(jié)構(gòu)形態(tài)及 CSP-style?并發(fā)計算。
Go的語法接近C語言，但對于變量的聲明有所不同。Go支持垃圾回收功能。Go的并行模型是以東尼·霍爾的通信順序進程（CSP）為基礎(chǔ)。
采取類似模型的其他語言包括Occam和Limbo，但它也具有Pi運算的特征，比如通道傳輸。在1.8版本中開放插件（Plugin）的支持，這意味著現(xiàn)在能從Go中動態(tài)加載部分函數(shù)。
Delve常用命令
命令功能：
dlv attach后面跟 pid，用來Debug編譯好的Golang程序。
dlv core用于 coredump。
dlv debug后面跟要調(diào)試的 go 文件，進入 Debug。
dlv testDebug test 函數(shù)。
正在做的是綁定要處理的完整路徑。/location/{titanrolex}GetUser。您真正想要的是綁定/location/以由一個處理程序處理（例如LocationHandler）。
您可以使用標準庫或其他路由器來做到這一點。我將介紹兩種方式：
標準庫：
import(
fmt
net/http
log
)
funclocationHandler(whttp.ResponseWriter,r*http.Request){
name:=r.URL.Path[len(/location/):]
fmt.Fprintf(w,Location:%s\n,name)
}
funcmain(){
http.HandleFunc(/location/,locationHandler)
log.Fatal(http.ListenAndServe(:8080,nil))
}
但是請注意，/location///以這種方式實現(xiàn)更復(fù)雜的路徑（例如）會很乏味。
另一種方法是使用github.com/julienschmidt/httprouter，特別是如果您更頻繁地遇到這些情況（并且路徑更復(fù)雜）。
以下是您的用例的示例：
import(
fmt
github.com/julienschmidt/httprouter
net/http
log
)
funcLocationHandler(whttp.ResponseWriter,r*http.Request,pshttprouter.Params){
fmt.Fprintf(w,Location:%s\n,ps.ByName(loc))
}
funcmain(){
router:=httprouter.New()
router.GET(/location/:loc,LocationHandler)
log.Fatal(http.ListenAndServe(:8080,router))
}
請注意，httprouter對處理程序使用稍微不同的簽名。這是因為，如您所見，它還將這些參數(shù)傳遞給函數(shù)。
哦，還有一個注意事項，你可以直接用你的瀏覽器（或其他東西）點擊-如果其他東西足夠好，它會將URLEncode編碼為.
我們在mian函數(shù)中，首先初始化配置文件，然后新建http連接。
這個連接創(chuàng)建之后，監(jiān)聽服務(wù)器的9999端口。如果url的路徑后綴為 "/ws",就轉(zhuǎn)發(fā)到ws/ws.go中的IndexHandler方法中。
這個方法中首先我們創(chuàng)建一個websocket的Upgrader實例，然后我們使用Upgrader的upgrade方法來升級一下我們的連接為長連接。
升級完成之后會返回一個*websocket.Conn的連接，我們之后所有的關(guān)于連接的操作，都是基于該conn的。
在該連接完成之后，我們將連接存放到一個名為Client的map中，以便之后管理更為方便。
之后，我們啟動一個goroutine來讀取連接中發(fā)送的信息內(nèi)容，再根據(jù)內(nèi)容進行相應(yīng)的操作。
三次握手：
1. 主動發(fā)起連接請求端（客戶端），發(fā)送 SYN 標志位，攜帶數(shù)據(jù)包、包號
2. 被動接收連接請求端（服務(wù)器），接收 SYN，回復(fù) ACK，攜帶應(yīng)答序列號。同時，發(fā)送SYN標志位，攜帶數(shù)據(jù)包、包號
3. 主動發(fā)起連接請求端（客戶端），接收SYN 標志位，回復(fù) ACK。
被動端（服務(wù)器）接收 ACK —— 標志著 三次握手建立完成（ Accept()/Dial() 返回 ）
四次揮手：
1. 主動請求斷開連接端（客戶端）， 發(fā)送 FIN標志，攜帶數(shù)據(jù)包
2. 被動接受斷開連接端（服務(wù)器）， 發(fā)送 ACK標志，攜帶應(yīng)答序列號。 —— 半關(guān)閉完成。
3. 被動接受斷開連接端（服務(wù)器）， 發(fā)送 FIN標志，攜帶數(shù)據(jù)包
4. 主動請求斷開連接端（客戶端）， 發(fā)送 最后一個 ACK標志，攜帶應(yīng)答序列號。—— 發(fā)送完成，客戶端不會直接退出，等 2MSL時長。
等 2MSL待目的：確保服務(wù)器 收到最后一個ACK
滑動窗口：
通知對端本地存儲數(shù)據(jù)的 緩沖區(qū)容量?！?write 函數(shù)在對端 緩沖區(qū)滿時，有可能阻塞。
TCP狀態(tài)轉(zhuǎn)換：
1. 主動發(fā)起連接請求端：
CLOSED —— 發(fā)送SYN —— SYN_SENT(了解) —— 接收ACK、SYN，回發(fā) ACK —— ESTABLISHED (數(shù)據(jù)通信)
2. 主動關(guān)閉連接請求端：
ESTABLISHED —— 發(fā)送FIN —— FIN_WAIT_1 —— 接收ACK —— FIN_WAIT_2 (半關(guān)閉、主動端)
—— 接收FIN、回復(fù)ACK —— TIME_WAIT (主動端) —— 等 2MSL 時長 —— CLOSED
3. 被動建立連接請求端：
CLOSED —— LISTEN —— 接收SYN、發(fā)送ACK、SYN —— SYN_RCVD —— 接收 ACK —— ESTABLISHED (數(shù)據(jù)通信)
4. 被動斷開連接請求端：
ESTABLISHED —— 接收 FIN、發(fā)送 ACK —— CLOSE_WAIT —— 發(fā)送 FIN —— LAST_ACK —— 接收ACK —— CLOSED
windows下查看TCP狀態(tài)轉(zhuǎn)換：
netstat -an | findstr? 端口號
Linux下查看TCP狀態(tài)轉(zhuǎn)換：
netstat -an | grep? 端口號
TCP和UDP對比:?
TCP: 面向連接的可靠的數(shù)據(jù)包傳遞。 針對不穩(wěn)定的 網(wǎng)絡(luò)層，完全彌補。ACK
UDP：無連接不可靠的報文傳輸。 針對不穩(wěn)定的 網(wǎng)絡(luò)層，完全不彌補。還原網(wǎng)絡(luò)真實狀態(tài)。
優(yōu)點???????????????????????????????????????????????????????????? 缺點
TCP： 可靠、順序、穩(wěn)定 ???????????????????????????????????? 系統(tǒng)資源消耗大，程序?qū)崿F(xiàn)繁復(fù)、速度慢
UDP：系統(tǒng)資源消耗小，程序?qū)崿F(xiàn)簡單、速度快 ???????????????????????? 不可靠、無序、不穩(wěn)定
使用場景：
TCP：大文件、可靠數(shù)據(jù)傳輸。 對數(shù)據(jù)的 穩(wěn)定性、準確性、一致性要求較高的場合。
UDP：應(yīng)用于對數(shù)據(jù)時效性要求較高的場合。 網(wǎng)絡(luò)直播、電話會議、視頻直播、網(wǎng)絡(luò)游戲。
UDP-CS-Server實現(xiàn)流程：
1.? 創(chuàng)建 udp地址結(jié)構(gòu) ResolveUDPAddr(“協(xié)議”， “IP：port”) —— udpAddr 本質(zhì) struct{IP、port}
2.? 創(chuàng)建用于 數(shù)據(jù)通信的 socket ListenUDP(“協(xié)議”, udpAddr ) —— udpConn (socket)
3.? 從客戶端讀取數(shù)據(jù)，獲取對端的地址 udpConn.ReadFromUDP() —— 返回：n，clientAddr， err
4.? 發(fā)送數(shù)據(jù)包給 客戶端 udpConn.WriteToUDP("數(shù)據(jù)"， clientAddr)
UDP-CS-Client實現(xiàn)流程：
1.? 創(chuàng)建用于通信的 socket。 net.Dial("udp", "服務(wù)器IP：port") —— udpConn (socket)
2.? 以后流程參見 TCP客戶端實現(xiàn)源碼。
UDPserver默認就支持并發(fā)！
------------------------------------
命令行參數(shù)： 在main函數(shù)啟動時，向整個程序傳參。 【重點】
語法： go run xxx.go ? argv1 argv2? argv3? argv4 。。。
xxx.exe:? 第 0 個參數(shù)。
argv1 ：第 1 個參數(shù)。
argv2 ：第 2 個參數(shù)。
argv3 ：第 3 個參數(shù)。
argv4 ：第 4 個參數(shù)。
使用： list := os.Args? 提取所有命令行參數(shù)。
獲取文件屬性函數(shù)：
os.stat(文件訪問絕對路徑) —— fileInfo 接口
fileInfo 包含 兩個接口。
Name() 獲取文件名。 不帶訪問路徑
Size() 獲取文件大小。
網(wǎng)絡(luò)文件傳輸 —— 發(fā)送端（客戶端）
1.? 獲取命令行參數(shù)，得到文件名（帶路徑）filePath list := os.Args
2.? 使用 os.stat() 獲取 文件名（不帶路徑）fileName
3.? 創(chuàng)建 用于數(shù)據(jù)傳輸?shù)?socket? net.Dial("tcp"， “服務(wù)器IP+port”) —— conn
4.? 發(fā)送文件名(不帶路徑)? 給接收端， conn.write()
5.? 讀取 接收端回發(fā)“ok”，判斷無誤。封裝函數(shù) sendFile(filePath, conn) 發(fā)送文件內(nèi)容
6.? 實現(xiàn) sendFile(filePath,? conn)
1) 只讀打開文件 os.Open(filePath)
for {
2) 從文件中讀數(shù)據(jù)? f.Read(buf)
3) 將讀到的數(shù)據(jù)寫到socket中? conn.write(buf[:n])
4）判斷讀取文件的 結(jié)尾。 io.EOF. 跳出循環(huán)
}
網(wǎng)絡(luò)文件傳輸 —— 接收端（服務(wù)器）
1. 創(chuàng)建用于監(jiān)聽的 socket net.Listen() —— listener
2. 借助listener 創(chuàng)建用于 通信的 socket listener.Accpet()? —— conn
3. 讀取 conn.read() 發(fā)送端的 文件名， 保存至本地。
4. 回發(fā) “ok”應(yīng)答 發(fā)送端。
5. 封裝函數(shù)，接收文件內(nèi)容 recvFile(文件路徑)
1) f = os.Create(帶有路徑的文件名)
for {
2）從 socket中讀取發(fā)送端發(fā)送的 文件內(nèi)容 。 conn.read(buf)
3)? 將讀到的數(shù)據(jù) 保存至本地文件 f.Write(buf[:n])
4)? 判斷 讀取conn 結(jié)束， 代表文件傳輸完成。 n == 0? break
}
近期正在探索前端、后端、系統(tǒng)端各類常用組件與工具，對其一些常見的組件進行再次整理一下，形成標準化組件專題，后續(xù)該專題將包含各類語言中的一些常用組件。歡迎大家進行持續(xù)關(guān)注。
本節(jié)我們分享的是基于Golang實現(xiàn)的高性能和彈性的流處理器 benthos ，它能夠以各種代理模式連接各種 源 和 接收器，并對有效負載執(zhí)行 水合、濃縮、轉(zhuǎn)換和過濾 。
它帶有 強大的映射語言 ，易于部署和監(jiān)控，并且可以作為靜態(tài)二進制文件、docker 映像或 無服務(wù)器函數(shù) 放入您的管道，使其成為云原生。
Benthos 是完全聲明性的，流管道在單個配置文件中定義，允許您指定連接器和處理階段列表：
Apache Pulsar, AWS (DynamoDB, Kinesis, S3, SQS, SNS), Azure (Blob storage, Queue storage, Table storage), Cassandra, Elasticsearch, File, GCP (Pub/Sub, Cloud storage), HDFS, HTTP (server and client, including websockets), Kafka, Memcached, MQTT, Nanomsg, NATS, NATS JetStream, NATS Streaming, NSQ, AMQP 0.91 (RabbitMQ), AMQP 1, Redis (streams, list, pubsub, hashes), MongoDB, SQL (MySQL, PostgreSQL, Clickhouse, MSSQL), Stdin/Stdout, TCP UDP, sockets and ZMQ4.
1、docker安裝
具體使用方式可以參見該 文檔
有關(guān)如何配置更高級的流處理概念（例如流連接、擴充工作流等）的指導(dǎo)，請查看 說明書部分。
有關(guān)在 Go 中構(gòu)建您自己的自定義插件的指導(dǎo)，請查看 公共 API。
重慶分公司
重慶分公司
