原文來自開源中國

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：申請域名、網(wǎng)頁空間、營銷軟件、網(wǎng)站建設(shè)、魚臺網(wǎng)站維護、網(wǎng)站推廣。

前言

python標(biāo)準(zhǔn)庫提供線程和多處理模塊來編寫相應(yīng)的多線程/多進程代碼，但當(dāng)項目達到一定規(guī)模時，頻繁地創(chuàng)建/銷毀進程或線程是非常消耗資源的，此時我們必須編寫自己的線程池/進程池來交換時間空間。但是從Python3.2開始，標(biāo)準(zhǔn)庫為我們提供了并發(fā)的。Futures模塊，它提供兩個類：ThreadPool Executor和ProcessPool Executor。它實現(xiàn)線程和多處理的進一步抽象，并為編寫線程池/進程池提供直接支持。

Executor和Future

concurrent.futures模塊的基礎(chǔ)是Exectuor，Executor是一個抽象類，它不能被直接使用。但是它提供的兩個子類ThreadPoolExecutor和ProcessPoolExecutor卻是非常有用，顧名思義兩者分別被用來創(chuàng)建線程池和進程池的代碼。我們可以將相應(yīng)的tasks直接放入線程池/進程池，不需要維護Queue來操心死鎖的問題，線程池/進程池會自動幫我們調(diào)度。

使用submit來操作線程池/進程池

我們先通過下面這段代碼來了解一下線程池的概念

# example1.pyfrom concurrent.futures import ThreadPoolExecutorimport timedef return_future_result(message):
    time.sleep(2)    return message
pool = ThreadPoolExecutor(max_workers=2)  # 創(chuàng)建一個最大可容納2個task的線程池future1 = pool.submit(return_future_result, ("hello"))  # 往線程池里面加入一個taskfuture2 = pool.submit(return_future_result, ("world"))  # 往線程池里面加入一個taskprint(future1.done())  # 判斷task1是否結(jié)束time.sleep(3)
print(future2.done())  # 判斷task2是否結(jié)束print(future1.result())  # 查看task1返回的結(jié)果print(future2.result())  # 查看task2返回的結(jié)果

讓我們根據(jù)操作結(jié)果進行分析。我們使用submit方法將任務(wù)添加到線程池，submit返回一個將來的對象，這可以簡單地理解為將來要完成的操作。在第一份印刷聲明中，很明顯我們的未來1由于時間的原因沒有完成。睡眠（2），因為我們使用時間掛起了主線程。sleep（3），所以到第二個print語句時，線程池中的所有任務(wù)都已完成。

ziwenxie :: ~ ? python example1.pyFalseTruehello
world# 在上述程序執(zhí)行的過程中，通過ps命令我們可以看到三個線程同時在后臺運行ziwenxie :: ~ ? ps -eLf | grep python
ziwenxie      8361  7557  8361  3    3 19:45 pts/0    00:00:00 python example1.py
ziwenxie      8361  7557  8362  0    3 19:45 pts/0    00:00:00 python example1.py
ziwenxie      8361  7557  8363  0    3 19:45 pts/0    00:00:00 python example1.py

上面的代碼我們也可以改寫為進程池形式，api和線程池如出一轍，我就不羅嗦了。

# example2.pyfrom concurrent.futures import ProcessPoolExecutorimport timedef return_future_result(message):
    time.sleep(2)    return message
pool = ProcessPoolExecutor(max_workers=2)
future1 = pool.submit(return_future_result, ("hello"))
future2 = pool.submit(return_future_result, ("world"))
print(future1.done())
time.sleep(3)
print(future2.done())
print(future1.result())
print(future2.result())

下面是運行結(jié)果

ziwenxie :: ~ ? python example2.pyFalseTruehello
world
ziwenxie :: ~ ? ps -eLf | grep python
ziwenxie      8560  7557  8560  3    3 19:53 pts/0    00:00:00 python example2.py
ziwenxie      8560  7557  8563  0    3 19:53 pts/0    00:00:00 python example2.py
ziwenxie      8560  7557  8564  0    3 19:53 pts/0    00:00:00 python example2.py
ziwenxie      8561  8560  8561  0    1 19:53 pts/0    00:00:00 python example2.py
ziwenxie      8562  8560  8562  0    1 19:53 pts/0    00:00:00 python example2.py

使用map/wait來操作線程池/進程池

除了submit，Exectuor還為我們提供了map方法，和內(nèi)建的map用法類似，下面我們通過兩個例子來比較一下兩者的區(qū)別。

使用submit操作回顧

# example3.pyimport concurrent.futuresimport urllib.request
URLS = ['http://httpbin.org', 'http://example.com/', 'https://api.github.com/']def load_url(url, timeout):
    with urllib.request.urlopen(url, timeout=timeout) as conn:        return conn.read()# We can use a with statement to ensure threads are cleaned up promptlywith concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]        try:
            data = future.result()        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))        else:
            print('%r page is %d bytes' % (url, len(data)))

從運行結(jié)果可以看出，as_completed不是按照URLS列表元素的順序返回的。

ziwenxie :: ~ ? python example3.py'http://example.com/' page is 1270 byte'https://api.github.com/' page is 2039 bytes'http://httpbin.org' page is 12150 bytes

使用map

# example4.pyimport concurrent.futuresimport urllib.request
URLS = ['http://httpbin.org', 'http://example.com/', 'https://api.github.com/']def load_url(url):
    with urllib.request.urlopen(url, timeout=60) as conn:        return conn.read()# We can use a with statement to ensure threads are cleaned up promptlywith concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:    for url, data in zip(URLS, executor.map(load_url, URLS)):
        print('%r page is %d bytes' % (url, len(data)))

從運行結(jié)果可以看出，map是按照URLS列表元素的順序返回的，并且寫出的代碼更加簡潔直觀，我們可以根據(jù)具體的需求任選一種。

ziwenxie :: ~ ? python example4.py'http://httpbin.org' page is 12150 bytes'http://example.com/' page is 1270 bytes'https://api.github.com/' page is 2039 bytes

第三種選擇wait

wait方法接會返回一個tuple(元組)，tuple中包含兩個set(集合)，一個是completed(已完成的)另外一個是uncompleted(未完成的)。使用wait方法的一個優(yōu)勢就是獲得更大的自由度，它接收三個參數(shù)FIRST_COMPLETED, FIRST_EXCEPTION 和ALL_COMPLETE，默認(rèn)設(shè)置為ALL_COMPLETED。

我們通過下面這個例子來看一下三個參數(shù)的區(qū)別

from concurrent.futures import ThreadPoolExecutor, wait, as_completedfrom time import sleepfrom random import randintdef return_after_random_secs(num):
    sleep(randint(1, 5))    return "Return of {}".format(num)
pool = ThreadPoolExecutor(5)
futures = []for x in range(5):
    futures.append(pool.submit(return_after_random_secs, x))
print(wait(futures))# print(wait(futures, timeout=None, return_when='FIRST_COMPLETED'))

如果采用默認(rèn)的ALL_COMPLETED，程序會阻塞直到線程池里面的所有任務(wù)都完成。

ziwenxie :: ~ ? python example5.py
DoneAndNotDoneFutures(done={,,,,}, not_done=set())

如果采用FIRST_COMPLETED參數(shù)，程序并不會等到線程池里面所有的任務(wù)都完成。

ziwenxie :: ~ ? python example5.py
DoneAndNotDoneFutures(done={,,},
not_done={,})