這篇文章給大家介紹如何在Python3中使用進(jìn)程池和回調(diào)函數(shù),內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對(duì)大家能有所幫助。
石景山ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景,ssl證書未來(lái)市場(chǎng)廣闊!成為創(chuàng)新互聯(lián)建站的ssl證書銷售渠道,可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:18980820575(備注:SSL證書合作)期待與您的合作!方式一
from multiprocessing import Pool def deal_task(n): n -= 1 return n if __name__ == '__main__': n = 10 p = Pool(4) for i in range(4): res = p.apply(deal_task, args=(n,)) #調(diào)用apply是一個(gè)串行的效果,任務(wù)會(huì)被進(jìn)程一個(gè)一個(gè)的處理,直接得到結(jié)果 #前提是執(zhí)行的任務(wù)必須要有返回值 print(res)
方式二
from multiprocessing import Pool def deal_task(n): n -= 1 return n if __name__ == '__main__': n = 10 p = Pool(4) obj_l = [] for i in range(4): #調(diào)用apply_async會(huì)返回一個(gè)對(duì)象,主進(jìn)程會(huì)不斷扔任務(wù)給線程池,讓子線程處理 obj = p.apply_async(deal_task, args=(n,)) obj_l.append(obj) #首先函數(shù)要有返回值 #調(diào)用close目的是防止join期間會(huì)有別的任務(wù)被添加到任務(wù)列表中 #不調(diào)用close會(huì)報(bào)錯(cuò) p.close() p.join() #join是要讓子進(jìn)程全部處理完之后得到結(jié)果統(tǒng)一處理,還有一個(gè)非常重要的原因是進(jìn)程池依附于主進(jìn)程,主進(jìn)程結(jié)束,進(jìn)程池消失。進(jìn)程池的任務(wù)沒(méi)有被處理程序就結(jié)束了。 for obj in obj_l: print(obj.get())
方式三
from multiprocessing import Pool import requests def get_page(url): ret = requests.get(url).text return {'url': url, 'ret': ret} def parse_page(ret): with open('ab.txt', 'a') as f: f.write('%s - %s\n' % (ret['url'], len(ret['ret']))) if __name__ == '__main__': urls = [ 'https://www.baidu.com', 'http://www.openstack.org', 'https://www.python.org', 'https://help.github.com/', 'http://www.sina.com.cn/' ] p = Pool() for url in urls: #使用回調(diào)函數(shù),當(dāng)get_page下載完后,主線程調(diào)用parse_page自動(dòng)處理get_page下載的結(jié)果,節(jié)省了parse_page的時(shí)間,該場(chǎng)景用于一個(gè)函數(shù)為耗時(shí)操作并且產(chǎn)生數(shù)據(jù),另一個(gè)函數(shù)是非耗時(shí)操作,這樣就節(jié)省了非耗時(shí)操作函數(shù)的時(shí)間 p.apply_async(get_page, args=(url,), callback=parse_page) p.close() p.join() print('主')
join是要讓子進(jìn)程全部處理完之后得到結(jié)果統(tǒng)一處理,還有一個(gè)非常重要的原因是進(jìn)程池依附于主進(jìn)程,主進(jìn)程結(jié)束,進(jìn)程池消失。進(jìn)程池的任務(wù)沒(méi)有被處理程序就結(jié)束了。
關(guān)于如何在Python3中使用進(jìn)程池和回調(diào)函數(shù)就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò),可以把它分享出去讓更多的人看到。