上篇文章簡單介紹了multiprocessing模塊，本文將要介紹進(jìn)程之間的數(shù)據(jù)共享和信息傳遞的概念。
成都創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供萬州網(wǎng)站建設(shè)、萬州做網(wǎng)站、萬州網(wǎng)站設(shè)計(jì)、萬州網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、萬州企業(yè)網(wǎng)站模板建站服務(wù)，十余年萬州做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。
在多進(jìn)程處理中，所有新創(chuàng)建的進(jìn)程都會有這兩個特點(diǎn)：獨(dú)立運(yùn)行，有自己的內(nèi)存空間。
我們來舉個例子展示一下：
這個程序的輸出結(jié)果是：
在上面的程序中我們嘗試在兩個地方打印全局列表result的內(nèi)容：
我們再用一張圖來幫助理解記憶不同進(jìn)程間的數(shù)據(jù)關(guān)系：
如果程序需要在不同的進(jìn)程之間共享一些數(shù)據(jù)的話，該怎么做呢？不用擔(dān)心，multiprocessing模塊提供了Array對象和Value對象，用來在進(jìn)程之間共享數(shù)據(jù)。
所謂Array對象和Value對象分別是指從共享內(nèi)存中分配的ctypes數(shù)組和對象。我們直接來看一個例子，展示如何用Array對象和Value對象在進(jìn)程之間共享數(shù)據(jù)：
程序輸出的結(jié)果如下：
成功了！主程序和p1進(jìn)程輸出了同樣的結(jié)果，說明程序中確實(shí)完成了不同進(jìn)程間的數(shù)據(jù)共享。那么我們來詳細(xì)看一下上面的程序做了什么：
在主程序中我們首先創(chuàng)建了一個Array對象：
向這個對象輸入的第一個參數(shù)是數(shù)據(jù)類型：i表示整數(shù)，d代表浮點(diǎn)數(shù)。第二個參數(shù)是數(shù)組的大小，在這個例子中我們創(chuàng)建了包含4個元素的數(shù)組。
類似的，我們創(chuàng)建了一個Value對象：
我們只對Value對象輸入了一個參數(shù)，那就是數(shù)據(jù)類型，與上述的方法一致。當(dāng)然，我們還可以對其指定一個初始值（比如10），就像這樣：
隨后，我們在創(chuàng)建進(jìn)程對象時，將剛創(chuàng)建好的兩個對象：result和square_sum作為參數(shù)輸入給進(jìn)程：
在函數(shù)中result元素通過索引進(jìn)行數(shù)組賦值，square_sum通過 value 屬性進(jìn)行賦值。
注意：為了完整打印result數(shù)組的結(jié)果，需要使用 result[:] 進(jìn)行打印，而square_sum也需要使用 value 屬性進(jìn)行打?。?/p>
每當(dāng)python程序啟動時，同時也會啟動一個服務(wù)器進(jìn)程。隨后，只要我們需要生成一個新進(jìn)程，父進(jìn)程就會連接到服務(wù)器并請求它派生一個新進(jìn)程。這個服務(wù)器進(jìn)程可以保存Python對象，并允許其他進(jìn)程使用代理來操作它們。
multiprocessing模塊提供了能夠控制服務(wù)器進(jìn)程的Manager類。所以，Manager類也提供了一種創(chuàng)建可以在不同流程之間共享的數(shù)據(jù)的方法。
服務(wù)器進(jìn)程管理器比使用共享內(nèi)存對象更靈活，因?yàn)樗鼈兛梢灾С秩我鈱ο箢愋?，如列表、字典、?duì)列、值、數(shù)組等。此外，單個管理器可以由網(wǎng)絡(luò)上不同計(jì)算機(jī)上的進(jìn)程共享。
但是，服務(wù)器進(jìn)程管理器的速度比使用共享內(nèi)存要慢。
讓我們來看一個例子：
這個程序的輸出結(jié)果是：
我們來理解一下這個程序做了什么：首先我們創(chuàng)建了一個manager對象
在with語句下的所有行，都是在manager對象的范圍內(nèi)的。接下來我們使用這個manager對象創(chuàng)建了列表（類似的，我們還可以用 manager.dict() 創(chuàng)建字典）。
最后我們創(chuàng)建了進(jìn)程p1（用于在records列表中插入一條新的record）和p2（將records打印出來），并將records作為參數(shù)進(jìn)行傳遞。
服務(wù)器進(jìn)程的概念再次用下圖總結(jié)一下：
為了能使多個流程能夠正常工作，常常需要在它們之間進(jìn)行一些通信，以便能夠劃分工作并匯總最后的結(jié)果。multiprocessing模塊支持進(jìn)程之間的兩種通信通道：Queue和Pipe。
使用隊(duì)列來回處理多進(jìn)程之間的通信是一種比較簡單的方法。任何Python對象都可以使用隊(duì)列進(jìn)行傳遞。我們來看一個例子：
上面這個程序的輸出結(jié)果是：
我們來看一下上面這個程序到底做了什么。首先我們創(chuàng)建了一個Queue對象：
然后，將這個空的Queue對象輸入square_list函數(shù)。該函數(shù)會將列表中的數(shù)平方，再使用 put() 方法放入隊(duì)列中：
隨后使用 get() 方法，將q打印出來，直至q重新稱為一個空的Queue對象：
我們還是用一張圖來幫助理解記憶：
一個Pipe對象只能有兩個端點(diǎn)。因此，當(dāng)進(jìn)程只需要雙向通信時，它會比Queue對象更好用。
multiprocessing模塊提供了 Pipe() 函數(shù)，該函數(shù)返回由管道連接的一對連接對象。 Pipe() 返回的兩個連接對象分別表示管道的兩端。每個連接對象都有 send() 和 recv() 方法。
我們來看一個例子：
上面這個程序的輸出結(jié)果是：
我們還是來看一下這個程序到底做了什么。首先創(chuàng)建了一個Pipe對象：
與上文說的一樣，該對象返回了一對管道兩端的兩個連接對象。然后使用 send() 方法和 recv() 方法進(jìn)行信息的傳遞。就這么簡單。在上面的程序中，我們從一端向另一端發(fā)送一串消息。在另一端，我們收到消息，并在收到END消息時退出。
要注意的是，如果兩個進(jìn)程(或線程)同時嘗試從管道的同一端讀取或?qū)懭牍艿乐械臄?shù)據(jù)，則管道中的數(shù)據(jù)可能會損壞。不過不同的進(jìn)程同時使用管道的兩端是沒有問題的。還要注意，Queue對象在進(jìn)程之間進(jìn)行了適當(dāng)?shù)耐?，但代價是增加了計(jì)算復(fù)雜度。因此，Queue對象對于線程和進(jìn)程是相對安全的。
最后我們還是用一張圖來示意：
Python的multiprocessing模塊還剩最后一篇文章：多進(jìn)程的同步與池化
敬請期待啦！
眾所周知，Python中不存在真正的多線程，Python中的多線程是一個并發(fā)過程。如果想要并行的執(zhí)行程序，充分的利用cpu資源(cpu核心)，還是需要使用多進(jìn)程解決的。其中multiprocessing模塊應(yīng)該是Python中最常用的多進(jìn)程模塊了。
基本上multiprocessing這個模塊和threading這個模塊用法是相同的，也是可以通過函數(shù)和類創(chuàng)建進(jìn)程。
上述案例基本上就是筆者搬用了上篇文章多線程的案例，可見其使用的相似之處。導(dǎo)入multiprocessing后實(shí)例化Process就可以創(chuàng)建一個進(jìn)程，參數(shù)的話也是和多線程一樣，target放置進(jìn)程執(zhí)行函數(shù)，args存放該函數(shù)的參數(shù)。
使用類來創(chuàng)建進(jìn)程也是需要先繼承multiprocessing.Process并且實(shí)現(xiàn)其init方法。
Pool可以提供指定數(shù)量的進(jìn)程，供用戶調(diào)用，當(dāng)有新的請求提交到pool中時，如果池還沒有滿，那么就會創(chuàng)建一個新的進(jìn)程用來執(zhí)行該請求。
但如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到規(guī)定最大值，那么該請求就會等待，直到池中有進(jìn)程結(jié)束，才會創(chuàng)建新的進(jìn)程。
需要注意的是，在調(diào)用join方法阻塞進(jìn)程前，需要先調(diào)用close方法，，否則程序會出錯。
在上述案例中，提到了非阻塞，當(dāng)把創(chuàng)建進(jìn)程的方法換為pool.apply(func, (msg,))時，就會阻塞進(jìn)程，出現(xiàn)下面的狀況。
在multiprocessing模塊中還存在Queue對象，這是一個進(jìn)程的安全隊(duì)列，近似queue.Queue。隊(duì)列一般也是需要配合多線程或者多進(jìn)程使用。
下列案例是一個使用進(jìn)程隊(duì)列實(shí)現(xiàn)的生產(chǎn)者消費(fèi)者模式。
multiprocessing支持兩種進(jìn)程間的通信，其中一種便是上述案例的隊(duì)列，另一種則稱作管道。在官方文檔的描述中，multiprocessing中的隊(duì)列是基于管道實(shí)現(xiàn)的，并且擁有更高的讀寫效率。
管道可以理解為進(jìn)程間的通道，使用Pipe([duplex])創(chuàng)建，并返回一個元組(conn1,conn2)。如果duplex被置為True(默認(rèn)值)，那么該管道是雙向的，如果duplex被置為False，那么該管道是單向的，即conn1只能用于接收消息，而conn2僅能用于發(fā)送消息。
其中conn1、conn2表示管道兩端的連接對象，每個連接對象都有send()和recv()方法。send和recv方法分別是發(fā)送和接受消息的方法。例如，可以調(diào)用conn1.send發(fā)送消息，conn1.recv接收消息。如果沒有消息可接收，recv方法會一直阻塞。如果管道已經(jīng)被關(guān)閉，那么recv方法會拋出EOFError。
關(guān)于multiprocessing模塊其實(shí)還有很多實(shí)用的類和方法，由于篇幅有限(懶),筆者就先寫到這里。該模塊其實(shí)用起來很像threading模塊，像鎖對象和守護(hù)線程(進(jìn)程)等multiprocessing模塊也是有的，使用方法也近乎相同。
如果想要更加詳細(xì)的了解multiprocessing模塊，請參考官方文檔。
基于官方文檔：
日樂購，剛才看到的一個博客，寫的都不太對，還是基于官方的比較穩(wěn)妥
我就是喜歡抄官方的，哈哈
通常我們使用Process實(shí)例化一個進(jìn)程，并調(diào)用 他的 start() 方法啟動它。
這種方法和 Thread 是一樣的。
上圖中，我寫了 p.join() 所以主進(jìn)程是 等待 子進(jìn)程執(zhí)行完后，才執(zhí)行 print("運(yùn)行結(jié)束")
否則就是反過來了（這個不一定，看你的語句了，順序其實(shí)是隨機(jī)的）例如：
主進(jìn)加個 sleep
所以不加join() ,其實(shí)子進(jìn)程和主進(jìn)程是各干各的，誰也不等誰。都執(zhí)行完后，文件運(yùn)行就結(jié)束了
上面我們用了 os.getpid() 和 os.getppid() 獲取 當(dāng)前進(jìn)程，和父進(jìn)程的id
下面就講一下，這兩個函數(shù)的用法：
os.getpid()
返回當(dāng)前進(jìn)程的id
os.getppid()
返回父進(jìn)程的id。 父進(jìn)程退出后，unix 返回初始化進(jìn)程（1）中的一個
windows返回相同的id (可能被其他進(jìn)程使用了)
這也就解釋了，為啥我上面 的程序運(yùn)行多次， 第一次打印的parentid 都是 14212 了。
而子進(jìn)程的父級 process id 是調(diào)用他的那個進(jìn)程的 id ： 1940
視頻筆記：
多進(jìn)程：使用大致方法：
參考： 進(jìn)程通信（pipe和queue）
pool.map （函數(shù)可以有return 也可以共享內(nèi)存或queue） 結(jié)果直接是個列表
poll.apply_async() （同map,只不過是一個進(jìn)程，返回結(jié)果用 xx.get() 獲得）
報(bào)錯：
參考 ：
把 pool = Pool() 放到 if name == " main ": 下面初始化搞定。
結(jié)果：
這個肯定有解釋的
測試多進(jìn)程計(jì)算效果：
進(jìn)程池運(yùn)行：
結(jié)果：
普通計(jì)算：
我們同樣傳入 1 2 10 三個參數(shù)測試：
其實(shí)對比下來開始快了一半的；
我們把循環(huán)里的數(shù)字去掉一個 0；
單進(jìn)程：
多進(jìn)程：
兩次測試 單進(jìn)程/進(jìn)程池 分別為 0.669 和 0.772 幾乎成正比的。
問題 二：
視圖：
post 視圖里面
Music 類：
直接報(bào)錯：
寫在 類里面也 在函數(shù)里用 self.pool 調(diào)用也不行，也是相同的錯誤。
最后 把 pool = Pool 直接寫在 search 函數(shù)里面，奇跡出現(xiàn)了：
前臺也能顯示搜索的音樂結(jié)果了
總結(jié)一點(diǎn)，進(jìn)程這個東西，最好 寫在 直接運(yùn)行的函數(shù)里面，而不是 一個函數(shù)跳來跳去。因?yàn)樽詈罂赡?是在子進(jìn)程的子進(jìn)程運(yùn)行的，這是不許的，會報(bào)錯。
還有一點(diǎn)，多進(jìn)程運(yùn)行的函數(shù)對象，不能是 lambda 函數(shù)。也許lambda 虛擬，在內(nèi)存？？
使用 pool.map 子進(jìn)程 函數(shù)報(bào)錯，導(dǎo)致整個 pool 掛了:
參考：
主要你要，對函數(shù)內(nèi)部捕獲錯誤，而不能讓異常拋出就可以了。
關(guān)于map 傳多個函數(shù)參數(shù)
我一開始，就是正常思維，多個參數(shù)，搞個元祖，讓參數(shù)一一對應(yīng)不就行了：
報(bào)錯：
參考：
普通的 process 當(dāng)讓可以穿多個參數(shù)，map 卻不知道咋傳的。
apply_async 和map 一樣，不知道咋傳的。
最簡單的方法：
使用 starmap 而不是 map
結(jié)果：
子進(jìn)程結(jié)束
1.8399453163146973
成功拿到結(jié)果了
關(guān)于map 和 starmap 不同的地方看源碼：
關(guān)于apply_async() ,我沒找到多參數(shù)的方法，大不了用 一個迭代的 starmap 實(shí)現(xiàn)。哈哈
關(guān)于 上面源碼里面有 itertools.starmap
itertools 用法參考：
有個問題，多進(jìn)程最好不要使用全部的 cpu , 因?yàn)檫@樣可能影響其他任務(wù)，所以 在進(jìn)程池 添加 process 參數(shù) 指定，cpu 個數(shù)：
上面就是預(yù)留了 一個cpu 干其他事的
后面直接使用 Queue 遇到這個問題：
解決：
Manager().Queue() 代替 Queue()
因?yàn)?queue.get() 是堵塞型的，所以可以提前判斷是不是 空的，以免堵塞進(jìn)程。比如下面這樣：
使用 queue.empty() 空為True
multiprocessing 是一個支持使用與 threading 模塊類似的 API 來產(chǎn)生進(jìn)程的包。 multiprocessing 包同時提供了本地和遠(yuǎn)程并發(fā)操作，通過使用子進(jìn)程而非線程有效地繞過了 全局解釋器鎖。 因此，multiprocessing 模塊允許程序員充分利用給定機(jī)器上的多個處理器。 它在 Unix 和 Windows 上均可運(yùn)行。
1、multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)
2、相關(guān)方法
輸出結(jié)果如下：
Pool提供了一種快捷的方法，賦予函數(shù)并行化處理一系列輸入值的能力，可以將輸入數(shù)據(jù)分配給不同進(jìn)程處理（數(shù)據(jù)并行）。下面的例子演示了在模塊中定義此類函數(shù)的常見做法，以便子進(jìn)程可以成功導(dǎo)入該模塊。這個數(shù)據(jù)并行的基本例子使用了 Pool 。
將在標(biāo)準(zhǔn)輸出中打印
其中：
（1）p.apply(func [, args [, kwargs]]):在一個池工作進(jìn)程中執(zhí)行func( args, kwargs),然后返回結(jié)果。需要強(qiáng)調(diào)的是：此操作并不會在所有池工作進(jìn)程中并執(zhí)行func函數(shù)。如果要通過不同參數(shù)并發(fā)地執(zhí)行func函數(shù)，必須從不同線程調(diào)用p.apply()函數(shù)或者使用p.apply_async()
（2）p.apply_async(func [, args [, kwargs]]):在一個池工作進(jìn)程中執(zhí)行func( args,**kwargs),然后返回結(jié)果。此方法的結(jié)果是 AsyncResult類的實(shí)例，callback是可調(diào)用對象，接收輸入?yún)?shù)。當(dāng)func的結(jié)果變?yōu)榭捎脮r，將理解傳遞給callback。callback禁止執(zhí)行任何阻塞操作，否則將接收其他異步操作中的結(jié)果。多進(jìn)程并發(fā)！
（3）p.close():關(guān)閉進(jìn)程池，防止進(jìn)一步操作。如果所有操作持續(xù)掛起，它們將在工作進(jìn)程終止前完成
（4）p.jion():等待所有工作進(jìn)程退出。此方法只能在close（）或teminate()之后調(diào)用
重慶分公司
重慶分公司
