python并發(fā)編程-進(jìn)程池

在利用Python進(jìn)行系統(tǒng)管理的時候，特別是同時操作多個文件目錄，或者遠(yuǎn)程控制多臺主機(jī)，并行操作可以節(jié)約大量的時間。多進(jìn)程是實(shí)現(xiàn)并發(fā)的手段之一，需要注意的問題是：

網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、成都微信小程序、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了華陰免費(fèi)建站歡迎大家使用！

例如當(dāng)被操作對象數(shù)目不大時，可以直接利用multiprocessing中的Process動態(tài)成生多個進(jìn)程，十幾個還好，但如果是上百個，上千個。。。手動的去限制進(jìn)程數(shù)量卻又太過繁瑣，此時可以發(fā)揮進(jìn)程池的功效。

我們就可以通過維護(hù)一個進(jìn)程池來控制進(jìn)程數(shù)目，比如httpd的進(jìn)程模式，規(guī)定最小進(jìn)程數(shù)和最大進(jìn)程數(shù)..

ps： 對于遠(yuǎn)程過程調(diào)用的高級應(yīng)用程序而言，應(yīng)該使用進(jìn)程池，Pool可以提供指定數(shù)量的進(jìn)程，供用戶調(diào)用，當(dāng)有新的請求提交到pool中時，如果池還沒有滿，那么就會創(chuàng)建一個新的進(jìn)程用來執(zhí)行該請求；但如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到規(guī)定最大值，那么該請求就會等待，直到池中有進(jìn)程結(jié)束，就重用進(jìn)程池中的進(jìn)程。

創(chuàng)建進(jìn)程池的類：如果指定numprocess為3，則進(jìn)程池會從無到有創(chuàng)建三個進(jìn)程，然后自始至終使用這三個進(jìn)程去執(zhí)行所有任務(wù)，不會開啟其他進(jìn)程

參數(shù)介紹：

方法介紹：

主要方法：

其他方法（了解部分）

應(yīng)用：

發(fā)現(xiàn)：并發(fā)開啟多個客戶端，服務(wù)端同一時間只有3個不同的pid，干掉一個客戶端，另外一個客戶端才會進(jìn)來，被3個進(jìn)程之一處理

回調(diào)函數(shù)：

需要回調(diào)函數(shù)的場景：進(jìn)程池中任何一個任務(wù)一旦處理完了，就立即告知主進(jìn)程：我好了額，你可以處理我的結(jié)果了。主進(jìn)程則調(diào)用一個函數(shù)去處理該結(jié)果，該函數(shù)即回調(diào)函數(shù)

我們可以把耗時間（阻塞）的任務(wù)放到進(jìn)程池中，然后指定回調(diào)函數(shù)（主進(jìn)程負(fù)責(zé)執(zhí)行），這樣主進(jìn)程在執(zhí)行回調(diào)函數(shù)時就省去了I/O的過程，直接拿到的是任務(wù)的結(jié)果。

如果在主進(jìn)程中等待進(jìn)程池中所有任務(wù)都執(zhí)行完畢后，再統(tǒng)一處理結(jié)果，則無需回調(diào)函數(shù)

python中如何限制輸入次數(shù)

python 限制函數(shù)調(diào)用次數(shù)的實(shí)例講解

發(fā)布時間：2018-04-21 09:58:18 作者：隨便起個名字啊

下面小編就為大家分享一篇python 限制函數(shù)調(diào)用次數(shù)的實(shí)例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

如下代碼，限制某個函數(shù)在某個時間段的調(diào)用次數(shù)，

靈感來源：python裝飾器-限制函數(shù)調(diào)用次數(shù)的方法(10s調(diào)用一次) 歡迎訪問

原博客中指定的是緩存，我這里換成限制訪問次數(shù)，異曲同工

#newtest.py

#!/usr/bin/env python

#-*- coding:utf-8 -*-

import time

def stat_called_time(func):

cache={}

limit_times=[10]

def _called_time(*args,**kwargs):

key=func.__name__

if key in cache.keys():

[call_times,updatetime]=cache[key]

if time.time()-updatetime 60:

cache[key][0]+=1

else:

cache[key]=[1,time.time()]

else:

call_times=1

cache[key]=[call_times,time.time()]

print('調(diào)用次數(shù): %s' % cache[key][0])

print('限制次數(shù): %s' % limit_times[0])

if cache[key][0] = limit_times[0]:

res=func(*args,**kwargs)

cache[key][1] = time.time()

return res

else:

print("超過調(diào)用次數(shù)了")

return None

return _called_time

@stat_called_time

def foo():

print("I'm foo")

if __name__=='__main__':

for i in range(10):

foo()

#test.py

from newtest import foo

import time

for i in range(30):

foo()

print('*'*20)

foo()

foo()

print('*'*20)

for i in range(60):

print(i)

time.sleep(1)

for i in range(11):

foo()

python特點(diǎn)和優(yōu)點(diǎn)

Python語言擁有諸多的優(yōu)點(diǎn)，這其中，以下幾個優(yōu)點(diǎn)特別顯著：

簡單易學(xué)：Python語言相對于其他編程語言來說，屬于比較容易學(xué)習(xí)的一門編程語言，它注重的是如何解決問題而不是編程語言的語法和結(jié)構(gòu)。正是因為Python語言簡單易學(xué)，所以，已經(jīng)有越來越多的初學(xué)者選擇Python語言作為編程的入門語言。例如，在浙江省2017年高中信息技術(shù)改革中，《算法與程序設(shè)計》課程將使用Python語言替換原有的VB語言。

語法優(yōu)美：Python語言力求代碼簡潔、優(yōu)美。在Python語言中，采用縮進(jìn)來標(biāo)識代碼塊，通過減少無用的大括號，去除語句末尾的分號等視覺雜訊，使得代碼的可讀性顯著提高。閱讀一段良好的Python程序就感覺像是在讀英語一樣，它使你能夠?qū)Ｗ⒂诮鉀Q問題，而不用太糾結(jié)編程語言本身的語法。

豐富強(qiáng)大的庫：Python語言號稱自帶電池(BatteryIncluded)，寓意是Python語言的類庫非常的全面，包含了解決各種問題的類庫。無論實(shí)現(xiàn)什么功能，都有現(xiàn)成的類庫可以使用。如果一個功能比較特殊，標(biāo)準(zhǔn)庫沒有提供相應(yīng)的支持，那么，很大概率也會有相應(yīng)的開源項目提供了類似的功能。合理使用Python的類庫和開源項目，能夠快速的實(shí)現(xiàn)功能，滿足業(yè)務(wù)需求。

開發(fā)效率高：Python的各個優(yōu)點(diǎn)是相輔相成的。例如，Python語言因為有了豐富強(qiáng)大的類庫，所以，Python的開發(fā)效率能夠顯著提高。相對于C、C++和Java等編譯語言，Python開發(fā)者的效率提高了數(shù)倍。實(shí)現(xiàn)相同的功能，Python代碼的文件往往只有C、C++和Java代碼的1/5~1/3。雖然Python語言擁有很多吸引人的特性，但是，各大互聯(lián)網(wǎng)公司廣泛使用Python語言，很大程度上是因為Python語言開發(fā)效率高這個特點(diǎn)。開發(fā)效率高的語言，能夠更好地滿足互聯(lián)網(wǎng)快速迭代的需求，因此，Python語言在互聯(lián)網(wǎng)公司使用非常廣泛。

應(yīng)用領(lǐng)域廣泛：Python語言的另一大優(yōu)點(diǎn)就是應(yīng)用領(lǐng)域廣泛，工程師可以使用Python做很多的事情。例如，Web開發(fā)、網(wǎng)絡(luò)編程、自動化運(yùn)維、Linux系統(tǒng)管理、數(shù)據(jù)分析、科學(xué)計算、人工智能、機(jī)器學(xué)習(xí)等等。Python語言介于腳本語言和系統(tǒng)語言之間，我們根據(jù)需要，既可以將它當(dāng)作一門腳本語言來編寫腳本，也可以將它當(dāng)作一個系統(tǒng)語言來編寫服務(wù)。在學(xué)習(xí)過程中有什么不懂的可以加我們的python學(xué)習(xí)交流圈。有不錯的學(xué)習(xí)視頻教程、開發(fā)工具與電子書籍。與你分享python企業(yè)當(dāng)下人才需求及怎么從零基礎(chǔ)學(xué)習(xí)好python，和學(xué)習(xí)什么內(nèi)容

不可忽視的缺點(diǎn)

毫無疑問，Python確實(shí)有用很多的優(yōu)點(diǎn)，每一個優(yōu)點(diǎn)看起來都非常吸引人。但是，Python并不是沒有缺點(diǎn)的，最主要的缺點(diǎn)有以下幾個：

Python的執(zhí)行速度不夠快。當(dāng)然，這也不是一個很嚴(yán)重的問題，一般情況下，我們不會拿Python語言與C/C++這樣的語言進(jìn)行直接比較。在Python語言的執(zhí)行速度上，一方面，網(wǎng)絡(luò)或磁盤的延遲，會抵消掉部分Python本身消耗的時間；另一方面，因為Python特別容易和C結(jié)合起來，因此，我們可以通過分離一部分需要優(yōu)化速度的應(yīng)用，將其轉(zhuǎn)換為編譯好的擴(kuò)展，并在整個系統(tǒng)中使用Python腳本將這部分應(yīng)用連接起來，以提高程序的整體效率。

Python的GIL鎖限制并發(fā)：Python的另一個大問題是，對多處理器支持不好。如果讀者接觸Python時間比較長，那么，一定聽說過GIL這個詞。GIL是指Python全局解釋器鎖（GlobalInterpreterLock），當(dāng)Python的默認(rèn)解釋器要執(zhí)行字節(jié)碼時，都需要先申請這個鎖。這意味著，如果試圖通過多線程擴(kuò)展應(yīng)用程序，將總是被這個全局解釋器鎖限制。當(dāng)然，我們可以使用多進(jìn)程的架構(gòu)來提高程序的并發(fā)，也可以選擇不同的Python實(shí)現(xiàn)來運(yùn)行我們的程序。

Python2與Python3不兼容：如果一個普通的軟件或者庫，不能夠做到后向兼容，那么，它會被用戶無情地拋棄了。在Python中，一個槽點(diǎn)是Python2與Python3不兼容。因為Python沒有向后兼容，給所有的Python工程師帶來了無數(shù)的煩惱。