一、主體不同
在做網(wǎng)站、網(wǎng)站設(shè)計中從網(wǎng)站色彩、結(jié)構(gòu)布局、欄目設(shè)置、關(guān)鍵詞群組等細(xì)微處著手,突出企業(yè)的產(chǎn)品/服務(wù)/品牌,幫助企業(yè)鎖定精準(zhǔn)用戶,提高在線咨詢和轉(zhuǎn)化,使成都網(wǎng)站營銷成為有效果、有回報的無錫營銷推廣。創(chuàng)新互聯(lián)專業(yè)成都網(wǎng)站建設(shè)十載了,客戶滿意度97.8%,歡迎成都創(chuàng)新互聯(lián)客戶聯(lián)系。
1、類:是面向?qū)ο蟪绦蛟O(shè)計實(shí)現(xiàn)信息封裝的基礎(chǔ)。
2、函數(shù):是指一段在一起的、可以做某一件事兒的程序。也叫做子程序、(OOP中)方法。
二、特點(diǎn)不同
1、類:是一種用戶定義的引用數(shù)據(jù)類型,也稱類類型。每個類包含數(shù)據(jù)說明和一組操作數(shù)據(jù)或傳遞消息的函數(shù)。類的實(shí)例稱為對象。
2、函數(shù):分為全局函數(shù)、全局靜態(tài)函數(shù);在類中還可以定義構(gòu)造函數(shù)、析構(gòu)函數(shù)、拷貝構(gòu)造函數(shù)、成員函數(shù)、友元函數(shù)、運(yùn)算符重載函數(shù)、內(nèi)聯(lián)函數(shù)等。
三、規(guī)則不同
1、類:實(shí)質(zhì)是一種引用數(shù)據(jù)類型,類似于byte、short、int(char)、long、float、double等基本數(shù)據(jù)類型,不同的是它是一種復(fù)雜的數(shù)據(jù)類型。
2、函數(shù):函數(shù)必須聲明后才可以被調(diào)用。調(diào)用格式為:函數(shù)名(實(shí)參)調(diào)用時函數(shù)名后的小括號中的實(shí)參必須和聲明函數(shù)時的函數(shù)括號中的形參個數(shù)相同。
參考資料來源:百度百科-函數(shù)
參考資料來源:百度百科-類
上篇文章簡單介紹了multiprocessing模塊,本文將要介紹進(jìn)程之間的數(shù)據(jù)共享和信息傳遞的概念。
在多進(jìn)程處理中,所有新創(chuàng)建的進(jìn)程都會有這兩個特點(diǎn):獨(dú)立運(yùn)行,有自己的內(nèi)存空間。
我們來舉個例子展示一下:
這個程序的輸出結(jié)果是:
在上面的程序中我們嘗試在兩個地方打印全局列表result的內(nèi)容:
我們再用一張圖來幫助理解記憶不同進(jìn)程間的數(shù)據(jù)關(guān)系:
如果程序需要在不同的進(jìn)程之間共享一些數(shù)據(jù)的話,該怎么做呢?不用擔(dān)心,multiprocessing模塊提供了Array對象和Value對象,用來在進(jìn)程之間共享數(shù)據(jù)。
所謂Array對象和Value對象分別是指從共享內(nèi)存中分配的ctypes數(shù)組和對象。我們直接來看一個例子,展示如何用Array對象和Value對象在進(jìn)程之間共享數(shù)據(jù):
程序輸出的結(jié)果如下:
成功了!主程序和p1進(jìn)程輸出了同樣的結(jié)果,說明程序中確實(shí)完成了不同進(jìn)程間的數(shù)據(jù)共享。那么我們來詳細(xì)看一下上面的程序做了什么:
在主程序中我們首先創(chuàng)建了一個Array對象:
向這個對象輸入的第一個參數(shù)是數(shù)據(jù)類型:i表示整數(shù),d代表浮點(diǎn)數(shù)。第二個參數(shù)是數(shù)組的大小,在這個例子中我們創(chuàng)建了包含4個元素的數(shù)組。
類似的,我們創(chuàng)建了一個Value對象:
我們只對Value對象輸入了一個參數(shù),那就是數(shù)據(jù)類型,與上述的方法一致。當(dāng)然,我們還可以對其指定一個初始值(比如10),就像這樣:
隨后,我們在創(chuàng)建進(jìn)程對象時,將剛創(chuàng)建好的兩個對象:result和square_sum作為參數(shù)輸入給進(jìn)程:
在函數(shù)中result元素通過索引進(jìn)行數(shù)組賦值,square_sum通過 value 屬性進(jìn)行賦值。
注意:為了完整打印result數(shù)組的結(jié)果,需要使用 result[:] 進(jìn)行打印,而square_sum也需要使用 value 屬性進(jìn)行打印:
每當(dāng)python程序啟動時,同時也會啟動一個服務(wù)器進(jìn)程。隨后,只要我們需要生成一個新進(jìn)程,父進(jìn)程就會連接到服務(wù)器并請求它派生一個新進(jìn)程。這個服務(wù)器進(jìn)程可以保存Python對象,并允許其他進(jìn)程使用代理來操作它們。
multiprocessing模塊提供了能夠控制服務(wù)器進(jìn)程的Manager類。所以,Manager類也提供了一種創(chuàng)建可以在不同流程之間共享的數(shù)據(jù)的方法。
服務(wù)器進(jìn)程管理器比使用共享內(nèi)存對象更靈活,因為它們可以支持任意對象類型,如列表、字典、隊列、值、數(shù)組等。此外,單個管理器可以由網(wǎng)絡(luò)上不同計算機(jī)上的進(jìn)程共享。
但是,服務(wù)器進(jìn)程管理器的速度比使用共享內(nèi)存要慢。
讓我們來看一個例子:
這個程序的輸出結(jié)果是:
我們來理解一下這個程序做了什么:首先我們創(chuàng)建了一個manager對象
在with語句下的所有行,都是在manager對象的范圍內(nèi)的。接下來我們使用這個manager對象創(chuàng)建了列表(類似的,我們還可以用 manager.dict() 創(chuàng)建字典)。
最后我們創(chuàng)建了進(jìn)程p1(用于在records列表中插入一條新的record)和p2(將records打印出來),并將records作為參數(shù)進(jìn)行傳遞。
服務(wù)器進(jìn)程的概念再次用下圖總結(jié)一下:
為了能使多個流程能夠正常工作,常常需要在它們之間進(jìn)行一些通信,以便能夠劃分工作并匯總最后的結(jié)果。multiprocessing模塊支持進(jìn)程之間的兩種通信通道:Queue和Pipe。
使用隊列來回處理多進(jìn)程之間的通信是一種比較簡單的方法。任何Python對象都可以使用隊列進(jìn)行傳遞。我們來看一個例子:
上面這個程序的輸出結(jié)果是:
我們來看一下上面這個程序到底做了什么。首先我們創(chuàng)建了一個Queue對象:
然后,將這個空的Queue對象輸入square_list函數(shù)。該函數(shù)會將列表中的數(shù)平方,再使用 put() 方法放入隊列中:
隨后使用 get() 方法,將q打印出來,直至q重新稱為一個空的Queue對象:
我們還是用一張圖來幫助理解記憶:
一個Pipe對象只能有兩個端點(diǎn)。因此,當(dāng)進(jìn)程只需要雙向通信時,它會比Queue對象更好用。
multiprocessing模塊提供了 Pipe() 函數(shù),該函數(shù)返回由管道連接的一對連接對象。 Pipe() 返回的兩個連接對象分別表示管道的兩端。每個連接對象都有 send() 和 recv() 方法。
我們來看一個例子:
上面這個程序的輸出結(jié)果是:
我們還是來看一下這個程序到底做了什么。首先創(chuàng)建了一個Pipe對象:
與上文說的一樣,該對象返回了一對管道兩端的兩個連接對象。然后使用 send() 方法和 recv() 方法進(jìn)行信息的傳遞。就這么簡單。在上面的程序中,我們從一端向另一端發(fā)送一串消息。在另一端,我們收到消息,并在收到END消息時退出。
要注意的是,如果兩個進(jìn)程(或線程)同時嘗試從管道的同一端讀取或?qū)懭牍艿乐械臄?shù)據(jù),則管道中的數(shù)據(jù)可能會損壞。不過不同的進(jìn)程同時使用管道的兩端是沒有問題的。還要注意,Queue對象在進(jìn)程之間進(jìn)行了適當(dāng)?shù)耐?,但代價是增加了計算復(fù)雜度。因此,Queue對象對于線程和進(jìn)程是相對安全的。
最后我們還是用一張圖來示意:
Python的multiprocessing模塊還剩最后一篇文章:多進(jìn)程的同步與池化
敬請期待啦!
如果想了解進(jìn)程 可以先看一下這一篇 python中的進(jìn)程-理論部分
python中的多線程無法利用多核優(yōu)勢,如果想要充分地使用多核CPU的資源(os.cpu_count()查看),在python中大部分情況需要使用多進(jìn)程。Python提供了multiprocessing。
multiprocessing模塊用來開啟子進(jìn)程,并在子進(jìn)程中執(zhí)行我們定制的任務(wù)(比如函數(shù)),該模塊與多線程模塊threading的編程接口類似。
multiprocessing模塊的功能眾多:支持子進(jìn)程、通信和共享數(shù)據(jù)、執(zhí)行不同形式的同步,提供了Process、Queue、Pipe、Lock等組件。
需要再次強(qiáng)調(diào)的一點(diǎn)是:與線程不同,進(jìn)程沒有任何共享狀態(tài),進(jìn)程修改的數(shù)據(jù),改動僅限于該進(jìn)程內(nèi)。
創(chuàng)建進(jìn)程的類 :
參數(shù)介紹:
group參數(shù)未使用,值始終為None
target表示調(diào)用對象,即子進(jìn)程要執(zhí)行的任務(wù)
args表示調(diào)用對象的位置參數(shù)元組,args=(1,2,'tiga',)
kwargs表示調(diào)用對象的字典,kwargs={'name':'tiga','age':18}
name為子進(jìn)程的名稱
方法介紹:
p.start():啟動進(jìn)程,并調(diào)用該子進(jìn)程中的p.run()
p.run():進(jìn)程啟動時運(yùn)行的方法,正是它去調(diào)用target指定的函數(shù),我們自定義類的類中一定要實(shí)現(xiàn)該方法
p.terminate():強(qiáng)制終止進(jìn)程p,不會進(jìn)行任何清理操作,如果p創(chuàng)建了子進(jìn)程,該子進(jìn)程就成了僵尸進(jìn)程,使用該方法需要特別小心這種情況。如果p還保存了一個鎖那么也將不會被釋放,進(jìn)而導(dǎo)致死鎖
p.is_alive():如果p仍然運(yùn)行,返回True
p.join([timeout]):主線程等待p終止(強(qiáng)調(diào):是主線程處于等的狀態(tài),而p是處于運(yùn)行的狀態(tài))。timeout是可選的超時時間,需要強(qiáng)調(diào)的是,p.join只能join住start開啟的進(jìn)程,而不能join住run開啟的進(jìn)程
屬性介紹:
注意:在windows中Process()必須放到# if __name__ == '__main__':下
創(chuàng)建并開啟子進(jìn)程的兩種方式
方法一:
方法二:
有了join,程序不就是串行了嗎???
terminate與is_alive
name與pid
基于官方文檔:
日樂購,剛才看到的一個博客,寫的都不太對,還是基于官方的比較穩(wěn)妥
我就是喜歡抄官方的,哈哈
通常我們使用Process實(shí)例化一個進(jìn)程,并調(diào)用 他的 start() 方法啟動它。
這種方法和 Thread 是一樣的。
上圖中,我寫了 p.join() 所以主進(jìn)程是 等待 子進(jìn)程執(zhí)行完后,才執(zhí)行 print("運(yùn)行結(jié)束")
否則就是反過來了(這個不一定,看你的語句了,順序其實(shí)是隨機(jī)的)例如:
主進(jìn)加個 sleep
所以不加join() ,其實(shí)子進(jìn)程和主進(jìn)程是各干各的,誰也不等誰。都執(zhí)行完后,文件運(yùn)行就結(jié)束了
上面我們用了 os.getpid() 和 os.getppid() 獲取 當(dāng)前進(jìn)程,和父進(jìn)程的id
下面就講一下,這兩個函數(shù)的用法:
os.getpid()
返回當(dāng)前進(jìn)程的id
os.getppid()
返回父進(jìn)程的id。 父進(jìn)程退出后,unix 返回初始化進(jìn)程(1)中的一個
windows返回相同的id (可能被其他進(jìn)程使用了)
這也就解釋了,為啥我上面 的程序運(yùn)行多次, 第一次打印的parentid 都是 14212 了。
而子進(jìn)程的父級 process id 是調(diào)用他的那個進(jìn)程的 id : 1940
視頻筆記:
多進(jìn)程:使用大致方法:
參考: 進(jìn)程通信(pipe和queue)
pool.map (函數(shù)可以有return 也可以共享內(nèi)存或queue) 結(jié)果直接是個列表
poll.apply_async() (同map,只不過是一個進(jìn)程,返回結(jié)果用 xx.get() 獲得)
報錯:
參考 :
把 pool = Pool() 放到 if name == " main ": 下面初始化搞定。
結(jié)果:
這個肯定有解釋的
測試多進(jìn)程計算效果:
進(jìn)程池運(yùn)行:
結(jié)果:
普通計算:
我們同樣傳入 1 2 10 三個參數(shù)測試:
其實(shí)對比下來開始快了一半的;
我們把循環(huán)里的數(shù)字去掉一個 0;
單進(jìn)程:
多進(jìn)程:
兩次測試 單進(jìn)程/進(jìn)程池 分別為 0.669 和 0.772 幾乎成正比的。
問題 二:
視圖:
post 視圖里面
Music 類:
直接報錯:
寫在 類里面也 在函數(shù)里用 self.pool 調(diào)用也不行,也是相同的錯誤。
最后 把 pool = Pool 直接寫在 search 函數(shù)里面,奇跡出現(xiàn)了:
前臺也能顯示搜索的音樂結(jié)果了
總結(jié)一點(diǎn),進(jìn)程這個東西,最好 寫在 直接運(yùn)行的函數(shù)里面,而不是 一個函數(shù)跳來跳去。因為最后可能 是在子進(jìn)程的子進(jìn)程運(yùn)行的,這是不許的,會報錯。
還有一點(diǎn),多進(jìn)程運(yùn)行的函數(shù)對象,不能是 lambda 函數(shù)。也許lambda 虛擬,在內(nèi)存??
使用 pool.map 子進(jìn)程 函數(shù)報錯,導(dǎo)致整個 pool 掛了:
參考:
主要你要,對函數(shù)內(nèi)部捕獲錯誤,而不能讓異常拋出就可以了。
關(guān)于map 傳多個函數(shù)參數(shù)
我一開始,就是正常思維,多個參數(shù),搞個元祖,讓參數(shù)一一對應(yīng)不就行了:
報錯:
參考:
普通的 process 當(dāng)讓可以穿多個參數(shù),map 卻不知道咋傳的。
apply_async 和map 一樣,不知道咋傳的。
最簡單的方法:
使用 starmap 而不是 map
結(jié)果:
子進(jìn)程結(jié)束
1.8399453163146973
成功拿到結(jié)果了
關(guān)于map 和 starmap 不同的地方看源碼:
關(guān)于apply_async() ,我沒找到多參數(shù)的方法,大不了用 一個迭代的 starmap 實(shí)現(xiàn)。哈哈
關(guān)于 上面源碼里面有 itertools.starmap
itertools 用法參考:
有個問題,多進(jìn)程最好不要使用全部的 cpu , 因為這樣可能影響其他任務(wù),所以 在進(jìn)程池 添加 process 參數(shù) 指定,cpu 個數(shù):
上面就是預(yù)留了 一個cpu 干其他事的
后面直接使用 Queue 遇到這個問題:
解決:
Manager().Queue() 代替 Queue()
因為 queue.get() 是堵塞型的,所以可以提前判斷是不是 空的,以免堵塞進(jìn)程。比如下面這樣:
使用 queue.empty() 空為True
目錄
眾所周知,CPU是計算機(jī)的核心,它承擔(dān)了所有的計算任務(wù)。而操作系統(tǒng)是計算機(jī)的管理者,是一個大管家,它負(fù)責(zé)任務(wù)的調(diào)度,資源的分配和管理,統(tǒng)領(lǐng)整個計算機(jī)硬件。應(yīng)用程序是具有某種功能的程序,程序運(yùn)行與操作系統(tǒng)之上
在很早的時候計算機(jī)并沒有線程這個概念,但是隨著時代的發(fā)展,只用進(jìn)程來處理程序出現(xiàn)很多的不足。如當(dāng)一個進(jìn)程堵塞時,整個程序會停止在堵塞處,并且如果頻繁的切換進(jìn)程,會浪費(fèi)系統(tǒng)資源。所以線程出現(xiàn)了
線程是能擁有資源和獨(dú)立運(yùn)行的最小單位,也是程序執(zhí)行的最小單位。一個進(jìn)程可以擁有多個線程,而且屬于同一個進(jìn)程的多個線程間會共享該進(jìn)行的資源
① 200 多本 Python 電子書(和經(jīng)典的書籍)應(yīng)該有
② Python標(biāo)準(zhǔn)庫資料(最全中文版)
③ 項目源碼(四五十個有趣且可靠的練手項目及源碼)
④ Python基礎(chǔ)入門、爬蟲、網(wǎng)絡(luò)開發(fā)、大數(shù)據(jù)分析方面的視頻(適合小白學(xué)習(xí))
⑤ Python學(xué)習(xí)路線圖(告別不入流的學(xué)習(xí))
私信我01即可獲取大量Python學(xué)習(xí)資源
進(jìn)程時一個具有一定功能的程序在一個數(shù)據(jù)集上的一次動態(tài)執(zhí)行過程。進(jìn)程由程序,數(shù)據(jù)集合和進(jìn)程控制塊三部分組成。程序用于描述進(jìn)程要完成的功能,是控制進(jìn)程執(zhí)行的指令集;數(shù)據(jù)集合是程序在執(zhí)行時需要的數(shù)據(jù)和工作區(qū);程序控制塊(PCB)包含程序的描述信息和控制信息,是進(jìn)程存在的唯一標(biāo)志
在Python中,通過兩個標(biāo)準(zhǔn)庫 thread 和 Threading 提供對線程的支持, threading 對 thread 進(jìn)行了封裝。 threading 模塊中提供了 Thread , Lock , RLOCK , Condition 等組件
在Python中線程和進(jìn)程的使用就是通過 Thread 這個類。這個類在我們的 thread 和 threading 模塊中。我們一般通過 threading 導(dǎo)入
默認(rèn)情況下,只要在解釋器中,如果沒有報錯,則說明線程可用
守護(hù)模式:
現(xiàn)在我們程序代碼中,有多個線程, 并且在這個幾個線程中都會去 操作同一部分內(nèi)容,那么如何實(shí)現(xiàn)這些數(shù)據(jù)的共享呢?
這時,可以使用 threading庫里面的鎖對象 Lock 去保護(hù)
Lock 對象的acquire方法 是申請鎖
每個線程在操作共享數(shù)據(jù)對象之前,都應(yīng)該申請獲取操作權(quán),也就是調(diào)用該共享數(shù)據(jù)對象對應(yīng)的鎖對象的acquire方法,如果線程A 執(zhí)行了 acquire() 方法,別的線程B 已經(jīng)申請到了這個鎖, 并且還沒有釋放,那么 線程A的代碼就在此處 等待 線程B 釋放鎖,不去執(zhí)行后面的代碼。
直到線程B 執(zhí)行了鎖的 release 方法釋放了這個鎖, 線程A 才可以獲取這個鎖,就可以執(zhí)行下面的代碼了
如:
到在使用多線程時,如果數(shù)據(jù)出現(xiàn)和自己預(yù)期不符的問題,就可以考慮是否是共享的數(shù)據(jù)被調(diào)用覆蓋的問題
使用 threading 庫里面的鎖對象 Lock 去保護(hù)
Python中的多進(jìn)程是通過multiprocessing包來實(shí)現(xiàn)的,和多線程的threading.Thread差不多,它可以利用multiprocessing.Process對象來創(chuàng)建一個進(jìn)程對象。這個進(jìn)程對象的方法和線程對象的方法差不多也有start(), run(), join()等方法,其中有一個方法不同Thread線程對象中的守護(hù)線程方法是setDeamon,而Process進(jìn)程對象的守護(hù)進(jìn)程是通過設(shè)置daemon屬性來完成的
守護(hù)模式:
其使用方法和線程的那個 Lock 使用方法類似
Manager的作用是提供多進(jìn)程共享的全局變量,Manager()方法會返回一個對象,該對象控制著一個服務(wù)進(jìn)程,該進(jìn)程中保存的對象運(yùn)行其他進(jìn)程使用代理進(jìn)行操作
語法:
線程池的基類是 concurrent.futures 模塊中的 Executor , Executor 提供了兩個子類,即 ThreadPoolExecutor 和 ProcessPoolExecutor ,其中 ThreadPoolExecutor 用于創(chuàng)建線程池,而 ProcessPoolExecutor 用于創(chuàng)建進(jìn)程池
如果使用線程池/進(jìn)程池來管理并發(fā)編程,那么只要將相應(yīng)的 task 函數(shù)提交給線程池/進(jìn)程池,剩下的事情就由線程池/進(jìn)程池來搞定
Exectuor 提供了如下常用方法:
程序?qū)?task 函數(shù)提交(submit)給線程池后,submit 方法會返回一個 Future 對象,F(xiàn)uture 類主要用于獲取線程任務(wù)函數(shù)的返回值。由于線程任務(wù)會在新線程中以異步方式執(zhí)行,因此,線程執(zhí)行的函數(shù)相當(dāng)于一個“將來完成”的任務(wù),所以 Python 使用 Future 來代表
Future 提供了如下方法:
使用線程池來執(zhí)行線程任務(wù)的步驟如下:
最佳線程數(shù)目 = ((線程等待時間+線程CPU時間)/線程CPU時間 )* CPU數(shù)目
也可以低于 CPU 核心數(shù)
使用線程池來執(zhí)行線程任務(wù)的步驟如下:
關(guān)于進(jìn)程的開啟代碼一定要放在 if __name__ == '__main__': 代碼之下,不能放到函數(shù)中或其他地方
開啟進(jìn)程的技巧
開啟進(jìn)程的數(shù)量最好低于最大 CPU 核心數(shù)