這篇文章主要講解了“Python異步IO怎么理解”,文中的講解內(nèi)容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“Python異步IO怎么理解”吧!
在做網(wǎng)站、成都網(wǎng)站建設(shè)中從網(wǎng)站色彩、結(jié)構(gòu)布局、欄目設(shè)置、關(guān)鍵詞群組等細微處著手,突出企業(yè)的產(chǎn)品/服務/品牌,幫助企業(yè)鎖定精準用戶,提高在線咨詢和轉(zhuǎn)化,使成都網(wǎng)站營銷成為有效果、有回報的無錫營銷推廣。創(chuàng)新互聯(lián)專業(yè)成都網(wǎng)站建設(shè)十年了,客戶滿意度97.8%,歡迎成都創(chuàng)新互聯(lián)客戶聯(lián)系。
Python 3.4標準庫有一個新模塊asyncio,用來支持異步IO,不過目前API狀態(tài)是provisional,意味著不保證向后兼容性,甚至可能從標準庫中移除(可能性極低)。如果關(guān)注PEP和Python-Dev會發(fā)現(xiàn)該模塊醞釀了很長時間,可能后續(xù)有API和實現(xiàn)上的調(diào)整,但毋庸置疑asyncio非常實用且功能強大,值得學習和深究。
示例
asyncio主要應對TCP/UDP socket通信,從容管理大量連接,而無需創(chuàng)建大量線程,提高系統(tǒng)運行效率。此處將官方文檔的一個示例做簡單改造,實現(xiàn)一個HTTP長連接benchmark工具,用于診斷WEB服務器長連接處理能力。
功能概述:
每隔10毫秒創(chuàng)建10個連接,直到目標連接數(shù)(比如10k),同時每個連接都會規(guī)律性的向服務器發(fā)送HEAD請求,以維持HTTP keepavlie。
代碼如下:
import argparse import asyncio import functools import logging import random import urllib.parse loop = asyncio.get_event_loop() @asyncio.coroutine def print_http_headers(no, url, keepalive): url = urllib.parse.urlsplit(url) wait_for = functools.partial(asyncio.wait_for, timeout=3, loop=loop) query = ('HEAD {url.path} HTTP/1.1\r\n' 'Host: {url.hostname}\r\n' '\r\n').format(url=url).encode('utf-8') rd, wr = yield from wait_for(asyncio.open_connection(url.hostname, 80)) while True: wr.write(query) while True: line = yield from wait_for(rd.readline()) if not line: # end of connection wr.close() return no line = line.decode('utf-8').rstrip() if not line: # end of header break logging.debug('(%d) HTTP header> %s' % (no, line)) yield from asyncio.sleep(random.randint(1, keepalive//2)) @asyncio.coroutine def do_requests(args): conn_pool = set() waiter = asyncio.Future() def _on_complete(fut): conn_pool.remove(fut) exc, res = fut.exception(), fut.result() if exc is not None: logging.info('conn#{} exception'.format(exc)) else: logging.info('conn#{} result'.format(res)) if not conn_pool: waiter.set_result('event loop is done') for i in range(args.connections): fut = asyncio.async(print_http_headers(i, args.url, args.keepalive)) fut.add_done_callback(_on_complete) conn_pool.add(fut) if i % 10 == 0: yield from asyncio.sleep(0.01) logging.info((yield from waiter)) def main(): parser = argparse.ArgumentParser(description='asyncli') parser.add_argument('url', help='page address') parser.add_argument('-c', '--connections', type=int, default=1, help='number of connections simultaneously') parser.add_argument('-k', '--keepalive', type=int, default=60, help='HTTP keepalive timeout') args = parser.parse_args() logging.basicConfig(level=logging.INFO, format='%(asctime)s %(message)s') loop.run_until_complete(do_requests(args)) loop.close() if __name__ == '__main__': main()
測試與分析
硬件:CPU 2.3GHz / 2 cores,RAM 2GB
軟件:CentOS 6.5(kernel 2.6.32), Python 3.3 (pip install asyncio), nginx 1.4.7
參數(shù)設(shè)置:ulimit -n 10240;nginx worker的連接數(shù)改為10240
啟動WEB服務器,只需一個worker進程:
# ../sbin/nginx # ps ax | grep nginx 2007 ? Ss 0:00 nginx: master process ../sbin/nginx 2008 ? S 0:00 nginx: worker process
啟動benchmark工具, 發(fā)起10k個連接,目標URL是nginx的默認測試頁面:
$ python asyncli.py http://10.211.55.8/ -c 10000
nginx日志統(tǒng)計平均每秒請求數(shù):
# tail -1000000 access.log | awk '{ print $4 }' | sort | uniq -c | awk '{ cnt+=1; sum+=$1 } END { printf "avg = %d\n", sum/cnt }' avg = 548
top部分輸出:
VIRT RES SHR S %CPU %MEM TIME+ COMMAND 657m 115m 3860 R 60.2 6.2 4:30.02 python 54208 10m 848 R 7.0 0.6 0:30.79 nginx
感謝各位的閱讀,以上就是“Python異步IO怎么理解”的內(nèi)容了,經(jīng)過本文的學習后,相信大家對Python異步IO怎么理解這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!