這篇文章主要講解了“GIL在CPython解釋器中的工作原理”,文中的講解內(nèi)容簡(jiǎn)單清晰,易于學(xué)習(xí)與理解,下面請(qǐng)大家跟著小編的思路慢慢深入,一起來(lái)研究和學(xué)習(xí)“GIL在CPython解釋器中的工作原理”吧!
創(chuàng)新互聯(lián)堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都網(wǎng)站建設(shè)、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的鐵嶺縣網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!
Python解釋執(zhí)行原理
我是一個(gè)Python線程,我的工作就是解釋執(zhí)行程序員編寫的Python代碼。
之所以說(shuō)是解釋執(zhí)行,是因?yàn)镻ython是高級(jí)語(yǔ)言,CPU那家伙不認(rèn)識(shí)Python代碼,需要運(yùn)行的時(shí)候動(dòng)態(tài)翻譯成CPU指令。
我把Python源代碼經(jīng)過(guò)“編譯”以后,變成了一個(gè)個(gè)的字節(jié)碼文件:.pyc,這是一個(gè)二進(jìn)制的文件,人類是看不懂的,只有我才能看懂。
然后我的工作就簡(jiǎn)單了,不斷的取出字節(jié)碼文件中的“指令”解釋執(zhí)行,直到所有指令都執(zhí)行完成,我就可以休息了。
GIL
后來(lái),多線程編程技術(shù)流行了起來(lái),進(jìn)程里不止我一個(gè)線程了,又來(lái)了幾個(gè)新的伙伴。
本以為我們能和平共處,沒(méi)想到這一來(lái)就麻煩了,我們幾個(gè)各干各的,經(jīng)常把內(nèi)存空間搞出問(wèn)題,也找不到背鍋的人。
終于有一天,我實(shí)在忍受不了了,召集大家商討個(gè)解決辦法。
“小伙伴們,咱們不能再這樣各搞各的了,咱們是一個(gè)Team,要彼此協(xié)作,一個(gè)線程可以走的很快,但一群線程在一起才能走的更遠(yuǎn)吶!”
“老大,你有什么想法你就直說(shuō)吧”,另一個(gè)線程說(shuō)到。
“要不,咱們加個(gè)鎖吧!簡(jiǎn)單快捷,每個(gè)線程要執(zhí)行代碼,都得來(lái)申請(qǐng)這個(gè)鎖,申請(qǐng)到了才能執(zhí)行,否則就得等著”,我說(shuō)到。
“那什么時(shí)候釋放呢?”
“要不弄個(gè)計(jì)數(shù)器,每個(gè)線程數(shù)到100就釋放,這樣保證別人有機(jī)會(huì)來(lái)執(zhí)行?”
“那怎么計(jì)數(shù)呢?每執(zhí)行一個(gè)字節(jié)碼就計(jì)數(shù)一次嗎?”
“可以,不過(guò)也不用那么死板,有些指令比較簡(jiǎn)單的,很快可以完成,就可以不用計(jì)數(shù)了”
“好是好,但要是還沒(méi)數(shù)夠100,卻在執(zhí)行I/O操作阻塞了,還把鎖霸占的話,那不是資源浪費(fèi)嗎?”
小伙伴們七嘴八舌的討論著。
我想了想說(shuō)到:“那就這樣,把兩種情況結(jié)合一下,常規(guī)情況下數(shù)到100就釋放一次鎖,但如果遇到阻塞情況,也要提前釋放鎖,怎么樣?”
大伙紛紛點(diǎn)頭,達(dá)成了一致,隨后我們還給這個(gè)鎖取了一個(gè)名字:全局解釋器鎖GIL。
自從用上了GIL,我們大家伙干活都規(guī)矩多了,再也沒(méi)有出現(xiàn)把公共資源搞壞的情況了。
升級(jí)版GIL
再后來(lái),多核技術(shù)開始興起了,一個(gè)CPU里面可以同時(shí)執(zhí)行多個(gè)線程。小伙伴們高興地把這個(gè)消息散播開了。
“老大,現(xiàn)在CPU有多核了,咱們可以一起執(zhí)行了,可不可以把那個(gè)GIL給去掉啊,這樣才能利用多核的優(yōu)勢(shì)啊。”
“是啊,隔壁Java線程老是嘲笑我們看起來(lái)人多,實(shí)際只有一個(gè)線程在執(zhí)行”
可說(shuō)易行難,這么多年我們都是這樣工作的,要突然去掉,出了問(wèn)題誰(shuí)也不敢負(fù)責(zé)啊。
“可是老大,現(xiàn)在這個(gè)GIL鎖不公平”,新來(lái)的線程抱怨到。
“哪里不公平了?”
“我準(zhǔn)備執(zhí)行代碼,發(fā)現(xiàn)鎖在你的手里,只好原地等待,等了半天都睡著了,好不容易等到你釋放了,操作系統(tǒng)把我給喚醒,準(zhǔn)備去申請(qǐng)鎖,結(jié)果發(fā)現(xiàn)又被你搶到了,真是浪費(fèi)表情”,新的線程滿臉委屈。
“是啊,老大,我也發(fā)現(xiàn)了,這不是偶發(fā)現(xiàn)象,我觀察很久了,經(jīng)常都會(huì)發(fā)生!頻繁被喚醒,卻發(fā)現(xiàn)白忙活一場(chǎng),白白浪費(fèi)CPU資源,大家都怨氣很大啊”,另一個(gè)線程伙伴也說(shuō)到。
我有些不好意思,“嗯,這確實(shí)是個(gè)問(wèn)題”
“還沒(méi)完呢”,新來(lái)的線程繼續(xù)說(shuō)到:“現(xiàn)在按照字節(jié)碼指令數(shù)來(lái)統(tǒng)計(jì),但有些指令碼簡(jiǎn)單,有些很復(fù)雜,導(dǎo)致同樣數(shù)到100,有些線程可以運(yùn)行很久,而有些就運(yùn)行很快就結(jié)束了,也不公平”
小伙伴們提的問(wèn)題都很重要,看來(lái)是時(shí)候?qū)IL進(jìn)行一次升級(jí)了。
經(jīng)過(guò)一陣激烈的討論,我們改進(jìn)了原來(lái)對(duì)GIL,用上了新的策略:
不再用計(jì)數(shù)的方式,改用時(shí)間片的方式:每個(gè)線程的執(zhí)行時(shí)間片是5000微秒。
為了保證釋放GIL后,不被自己馬上又搶到,新增了一個(gè)鎖實(shí)現(xiàn)強(qiáng)制線程切換
改進(jìn)以后,這下總算公平了,各位小伙伴再也沒(méi)有話說(shuō),又可以安心的工作了。
結(jié)語(yǔ)
Python是一門解釋執(zhí)行的語(yǔ)言,擁有強(qiáng)大的第三方庫(kù)和跨平臺(tái)能力,近幾年P(guān)ython煥發(fā)了第二春,橫掃爬蟲、web開發(fā)、機(jī)器學(xué)習(xí)等眾多領(lǐng)域。
但長(zhǎng)期以來(lái),Python最為人詬病的就是它有一把鎖:GIL,這把鎖讓Python無(wú)法真正的實(shí)現(xiàn)多線程執(zhí)行,無(wú)法利用多核CPU的高性能。
實(shí)際上,這個(gè)鎖跟Python沒(méi)有半毛錢的關(guān)系,而是負(fù)責(zé)解釋執(zhí)行Python的解釋器:CPython的鍋。
CPython是用C語(yǔ)言編寫的Python解釋器,也是最廣為使用的Python解釋器,一般在沒(méi)有特殊說(shuō)明時(shí),說(shuō)Python指的就是這個(gè)CPython解釋器。
Python誕生之初,多線程技術(shù)還遠(yuǎn)沒(méi)有今天這么深入人心,甚至多核CPU也是Python誕生許多年后才出現(xiàn)的。早期的解釋器中為了支持多個(gè)線程,使用了粗暴的GIL來(lái)進(jìn)行控制,方便簡(jiǎn)單的同時(shí),也成為了CPython的巨大歷史包袱。
在Python3.2之前,Python使用簡(jiǎn)單的計(jì)數(shù)法來(lái)統(tǒng)計(jì)控制每個(gè)線程執(zhí)行的時(shí)間。在這之后,引入了更為公平的時(shí)間片方式來(lái)升級(jí)替換。
過(guò)去二十年,曾經(jīng)有許許多多大牛都嘗試徹底去除GIL,但都沒(méi)有完美成功。
雖然Python沒(méi)能徹底去除GIL,好在,提供了其他幾種方式“曲線救國(guó)”實(shí)現(xiàn)并發(fā):
Ctypes 通過(guò)編寫C語(yǔ)言擴(kuò)展與Python交互,在C語(yǔ)言層面繞過(guò)GIL實(shí)現(xiàn)多核利用。
MultiProcess Python提供了MultiProcess,通過(guò)多進(jìn)程的方式繞過(guò)GIL
協(xié)程 協(xié)程又稱用戶態(tài)線程,Python3.4版本后新增了對(duì)協(xié)程的支持,也是對(duì)性能的提升提供了一種選擇。
感謝各位的閱讀,以上就是“GIL在CPython解釋器中的工作原理”的內(nèi)容了,經(jīng)過(guò)本文的學(xué)習(xí)后,相信大家對(duì)GIL在CPython解釋器中的工作原理這一問(wèn)題有了更深刻的體會(huì),具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章,歡迎關(guān)注!