協(xié)程,又稱微線程,纖程。英文名 Coroutine 。Python對協(xié)程的支持是通過 generator 實現(xiàn)的。在generator中,我們不但可以通過for循環(huán)來迭代,還可以不斷調(diào)用 next()函數(shù) 獲取由 yield 語句返回的下一個值。但是Python的yield不但可以返回一個值,它還可以接收調(diào)用者發(fā)出的參數(shù)。yield其實是終端當前的函數(shù),返回給調(diào)用方。python3中使用yield來實現(xiàn)range,節(jié)省內(nèi)存,提高性能,懶加載的模式。
成都創(chuàng)新互聯(lián)公司是一家專注網(wǎng)站建設(shè)、網(wǎng)絡(luò)營銷策劃、微信小程序、電子商務(wù)建設(shè)、網(wǎng)絡(luò)推廣、移動互聯(lián)開發(fā)、研究、服務(wù)為一體的技術(shù)型公司。公司成立十年以來,已經(jīng)為上千余家銅雕雕塑各業(yè)的企業(yè)公司提供互聯(lián)網(wǎng)服務(wù)?,F(xiàn)在,服務(wù)的上千余家客戶與我們一路同行,見證我們的成長;未來,我們一起分享成功的喜悅。
asyncio是Python 3.4 版本引入的 標準庫 ,直接內(nèi)置了對異步IO的支持。
從Python 3.5 開始引入了新的語法 async 和 await ,用來簡化yield的語法:
import asyncio
import threading
async def compute(x, y):
print("Compute %s + %s ..." % (x, y))
print(threading.current_thread().name)
await asyncio.sleep(x + y)
return x + y
async def print_sum(x, y):
result = await compute(x, y)
print("%s + %s = %s" % (x, y, result))
print(threading.current_thread().name)
if __name__ == "__main__":
loop = asyncio.get_event_loop()
tasks = [print_sum(1, 2), print_sum(3, 4)]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()
線程是內(nèi)核進行搶占式的調(diào)度的,這樣就確保了每個線程都有執(zhí)行的機會。而 coroutine 運行在同一個線程中,由語言的運行時中的 EventLoop(事件循環(huán)) 來進行調(diào)度。和大多數(shù)語言一樣,在 Python 中,協(xié)程的調(diào)度是非搶占式的,也就是說一個協(xié)程必須主動讓出執(zhí)行機會,其他協(xié)程才有機會運行。
讓出執(zhí)行的關(guān)鍵字就是 await。也就是說一個協(xié)程如果阻塞了,持續(xù)不讓出 CPU,那么整個線程就卡住了,沒有任何并發(fā)。
PS: 作為服務(wù)端,event loop最核心的就是IO多路復用技術(shù),所有來自客戶端的請求都由IO多路復用函數(shù)來處理;作為客戶端,event loop的核心在于利用Future對象延遲執(zhí)行,并使用send函數(shù)激發(fā)協(xié)程,掛起,等待服務(wù)端處理完成返回后再調(diào)用CallBack函數(shù)繼續(xù)下面的流程
Go語言的協(xié)程是 語言本身特性 ,erlang和golang都是采用了CSP(Communicating Sequential Processes)模式(Python中的協(xié)程是eventloop模型),但是erlang是基于進程的消息通信,go是基于goroutine和channel的通信。
Python和Go都引入了消息調(diào)度系統(tǒng)模型,來避免鎖的影響和進程/線程開銷大的問題。
協(xié)程從本質(zhì)上來說是一種用戶態(tài)的線程,不需要系統(tǒng)來執(zhí)行搶占式調(diào)度,而是在語言層面實現(xiàn)線程的調(diào)度 。因為協(xié)程 不再使用共享內(nèi)存/數(shù)據(jù) ,而是使用 通信 來共享內(nèi)存/鎖,因為在一個超級大系統(tǒng)里具有無數(shù)的鎖,共享變量等等會使得整個系統(tǒng)變得無比的臃腫,而通過消息機制來交流,可以使得每個并發(fā)的單元都成為一個獨立的個體,擁有自己的變量,單元之間變量并不共享,對于單元的輸入輸出只有消息。開發(fā)者只需要關(guān)心在一個并發(fā)單元的輸入與輸出的影響,而不需要再考慮類似于修改共享內(nèi)存/數(shù)據(jù)對其它程序的影響。
golang學習筆記
頻繁創(chuàng)建線程會造成不必要的開銷,所以才有了線程池。在線程池中預先保存一定數(shù)量的線程,新任務(wù)發(fā)布到任務(wù)隊列,線程池中的線程不斷地從任務(wù)隊列中取出任務(wù)并執(zhí)行,可以有效的減少創(chuàng)建和銷毀帶來的開銷。
過多的線程會導致爭搶cpu資源,且上下文的切換的開銷變大。而工作在用戶態(tài)的協(xié)程能大大減少上下文切換的開銷。協(xié)程調(diào)度器把可運行的協(xié)程逐個調(diào)度到線程中執(zhí)行,同時即時把阻塞的協(xié)程調(diào)度出協(xié)程,從而有效地避免了線程的頻繁切換,達到了少量線程實現(xiàn)高并發(fā)的效果。
多個協(xié)程分享操作系統(tǒng)分給線程的時間片,從而達到充分利用CPU的目的,協(xié)程調(diào)度器決定了則決定了協(xié)程運行的順序。每個線程同一時刻只能運行一個協(xié)程。
go調(diào)度模型包含三個實體:
每個處理器維護者一個協(xié)程G的隊列,處理器依次將協(xié)程G調(diào)度到M中執(zhí)行。
每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行,全局隊列中的G主要來自系統(tǒng)調(diào)用中恢復的G.
如果協(xié)程發(fā)起系統(tǒng)調(diào)用,則整個工作線程M被阻塞,協(xié)程隊列中的其他協(xié)程都會阻塞。
一般情況下M的個數(shù)會略大于P個數(shù),多出來的M將會在G產(chǎn)生系統(tǒng)調(diào)用時發(fā)揮作用。與線程池類似,Go也提供M池子。當協(xié)程G1發(fā)起系統(tǒng)掉用時,M1會釋放P,由 M1-P-G1 G2 ... 轉(zhuǎn)變成 M1-G1 , M2會接管P的其他協(xié)程 M2-P-G2 G3 G4... 。
冗余的M可能來源于緩存池,也可能是新建的。
當G1結(jié)束系統(tǒng)調(diào)用后,根據(jù)M1是否獲取到P,進行不用的處理。
多個處理P維護隊列可能不均衡,導致部分處理器非常繁忙,而其余相對空閑。產(chǎn)生原因是有些協(xié)程自身不斷地派生協(xié)程。
為此Go調(diào)度器提供了工作量竊取策略,當某個處理器P沒有需要調(diào)度的協(xié)程時,將從其他處理中偷取協(xié)程,每次偷取一半。
搶占式調(diào)度,是指避免某個協(xié)程長時間執(zhí)行,而阻礙其他協(xié)程被調(diào)度的機制。
調(diào)度器監(jiān)控每個協(xié)程執(zhí)行時間,一旦執(zhí)行時間過長且有其他協(xié)程等待,會把協(xié)程暫停,轉(zhuǎn)而調(diào)度等待的協(xié)程,以達到類似時間片輪轉(zhuǎn)的效果。比如for循環(huán)會一直占用執(zhí)行權(quán)。
在IO密集型應(yīng)用,GOMAXPROCS大小設(shè)置大一些,獲取性能會更好。
IO密集型會經(jīng)常發(fā)生系統(tǒng)調(diào)用,會有一個新的M啟用或創(chuàng)建,但由于Go調(diào)度器檢測M到被阻塞有一定延遲。如果P數(shù)量多,則P管理協(xié)程隊列會變小。
golang中最大協(xié)程數(shù)的限制
golang中有最大協(xié)程數(shù)的限制嗎?如果有的話,是通過什么參數(shù)控制呢?還是通過每個協(xié)程占用的資源計算?
通過channel控制協(xié)程數(shù)的就忽略吧。
以我的理解,計算機資源肯定是有限的,所以goroutine肯定也是有限制的,單純的goroutine,一開始每個占用4K內(nèi)存,所以這里會受到內(nèi)存使用量的限制,還有g(shù)oroutine是通過系統(tǒng)線程來執(zhí)行的,golang默認最大的線程數(shù)是10000個??梢酝ㄟ^
來修改。但要注意線程和goroutine不是一一對應(yīng)關(guān)系,理論上內(nèi)存足夠大,而且goroutine不是計算密集型的話,可以開啟無限個goroutine。
線程:
多線程是為了解決CPU利用率的問題,線程則是為了減少上下文切換時的開銷,進程和線程在Linux中沒有本質(zhì)區(qū)別,最大的不同就是進程有自己獨立的內(nèi)存空間,而線程是共享內(nèi)存空間。
在進程切換時需要轉(zhuǎn)換內(nèi)存地址空間,而線程切換沒有這個動作,所以線程切換比進程切換代價要小得多。
協(xié)程:
想要簡單,又要性能高,協(xié)程就可以達到我們的目的,它是用戶視角的一種抽象,操作系統(tǒng)并沒有這個概念,主要思想是在用戶態(tài)實現(xiàn)調(diào)度算法,用少量線程完成大量任務(wù)的調(diào)度。
Goroutine是GO語言實現(xiàn)的協(xié)程,其特點是在語言層面就支持,使用起來十分方便,它的核心是MPG調(diào)度模型:M即內(nèi)核線程;P即處理器,用來執(zhí)行Goroutine,它維護了本地可運行隊列;G即Goroutine,代碼和數(shù)據(jù)結(jié)構(gòu);S及調(diào)度器,維護M和P的信息。
go的main方法理解為入口函數(shù),程序只執(zhí)行這一個函數(shù)。整個項目由這個函數(shù)調(diào)度使用。
所以你的協(xié)程沒有被運行。
你將協(xié)程函數(shù)命名,在main函數(shù)中調(diào)用 go test()即可