真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

怎么用python3爬蟲中的GIL修改多線程-創(chuàng)新互聯(lián)

小編給大家分享一下怎么用python3爬蟲中的GIL修改多線程,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!

創(chuàng)新互聯(lián)是專業(yè)的綿竹網(wǎng)站建設公司,綿竹接單;提供網(wǎng)站建設、網(wǎng)站制作,網(wǎng)頁設計,網(wǎng)站設計,建網(wǎng)站,PHP網(wǎng)站建設等專業(yè)做網(wǎng)站服務;采用PHP框架,可快速的進行綿竹網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

我們都知道,比方我有一個4核的CPU,那么這樣一來,在單位時間內每個核只能跑一個線程,然后時間片輪轉切換。但是Python不一樣,它不管你有幾個核,單位時間多個核只能跑一個線程,然后時間片輪轉??雌饋砗懿豢伤甲h?但是這就是GIL搞的鬼。任何Python線程執(zhí)行前,必須先獲得GIL鎖,然后,每執(zhí)行100條字節(jié)碼,解釋器就自動釋放GIL鎖,讓別的線程有機會執(zhí)行。這個GIL全局鎖實際上把所有線程的執(zhí)行代碼都給上了鎖,所以,多線程在Python中只能交替執(zhí)行,即使100個線程跑在100核CPU上,也只能用到1個核。通常我們用的解釋器是官方實現(xiàn)的CPython,要真正利用多核,除非重寫一個不帶GIL的解釋器。我們不妨做個試驗:

#coding=utf-8
from multiprocessing import Pool
from threading import Thread
 
from multiprocessing import Process
 
 
def loop():
    while True:
        pass
 
if __name__ == '__main__':
 
    for i in range(3):
        t = Thread(target=loop)
        t.start()
 
    while True:
        pass

我的電腦是4核,所以我開了4個線程,看一下CPU資源占有率:


怎么用python3爬蟲中的GIL修改多線程

我們發(fā)現(xiàn)CPU利用率并沒有占滿,大致相當于單核水平。

而如果我們變成進程呢?

我們改一下代碼:

#coding=utf-8
from multiprocessing import Pool
from threading import Thread
 
from multiprocessing import Process
 
 
def loop():
    while True:
        pass
 
if __name__ == '__main__':
 
    for i in range(3):
        t = Process(target=loop)
        t.start()
 
    while True:
        Pass

怎么用python3爬蟲中的GIL修改多線程

結果直接飆到了100%,說明進程是可以利用多核的!

如果小伙伴們運行的結果也是cpu百分之百,就說明本次的修改成功了。為了更直觀的讓大家看出前后區(qū)別,小編特意準備了前后的對比,說明GIL修改多線程的方法是可行的!

看完了這篇文章,相信你對怎么用python3爬蟲中的GIL修改多線程有了一定的了解,想了解更多相關知識,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!


文章名稱:怎么用python3爬蟲中的GIL修改多線程-創(chuàng)新互聯(lián)
分享網(wǎng)址:http://weahome.cn/article/cdpggc.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部