小編給大家分享一下如何異步調(diào)用命令行工具,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
為華龍等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù),及華龍網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站建設(shè)、做網(wǎng)站、華龍網(wǎng)站設(shè)計(jì),以傳統(tǒng)方式定制建設(shè)網(wǎng)站,并提供域名空間備案等一條龍服務(wù),秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求,就會(huì)得到認(rèn)可,從而選擇與我們長期合作。這樣,我們也可以走得更遠(yuǎn)!
當(dāng)你在自己的 Python 程序中采用了基于事件循環(huán)的異步編程方法之后,你就會(huì)發(fā)現(xiàn)自己不自覺地被其牢牢吸引住,并不是說這一方法多么棒,而是因?yàn)槟悴坏貌幌朕k法保證程序中的任意環(huán)節(jié)都不能是阻塞的!
例如當(dāng)前的場景是希望從 MongoDB 中讀取每一條未處理過的數(shù)據(jù),下載并保存其中的圖片信息,然后更新數(shù)據(jù)庫的內(nèi)容。Python 常用的 MongoDB 異步驅(qū)動(dòng)是 Motor:
結(jié)合 asyncio 使用方法如下:
import motor.motor_asyncio import asyncio client = motor.motor_asyncio.AsyncIOMotorClient() db = client.test_database async def run(): async for mm in db.test_database.find({"status": 0}): print(mm['img_src']) # Download Image Here # dl_img(mm['img_src']) await db.test_database.update({"_id": mm['_id']}, {"$set": {"status":1}}) loop = asyncio.get_event_loop() loop.run_until_complete(run())
此時(shí)如果 dl_img() 處的操作是阻塞的,那么異步處理就沒有意義了。當(dāng)然這里依然可以借助異步網(wǎng)絡(luò)請求庫 aiohttp 來實(shí)現(xiàn)圖片下載:
async with session.get(img) as resp: with open(img.split("/")[-1], 'wb') as fd: while True: chunk = await resp.content.read(1024) if not chunk: break fd.write(chunk)
當(dāng)然也可以不需要自己動(dòng)手下載,直接調(diào)用系統(tǒng)命令行工具(例如 wget)來完成下載任務(wù)。Python 通過 subprocess 標(biāo)準(zhǔn)庫實(shí)現(xiàn)系統(tǒng)命令調(diào)用(取代舊的os.system(cmd)),執(zhí)行下載任務(wù)只需要:
import subprocess as sb sb.run(['wget', img], shell=True)
但是這種調(diào)用方式是無法直接在asyncio的事件循環(huán)中使用的,但是asyncio提供了對應(yīng)的 subprocess接口:
asyncio.create_subprocess_exec(*args, ...) asyncio.create_subprocess_shell(cmd, ...)
這兩個(gè)方法均返回一個(gè) asyncio.subprocess.Process 實(shí)例,而它的接口設(shè)計(jì)完全模仿了 subprocess.Popen(上面提到 subprocess.run()的底層實(shí)現(xiàn)),因此很容易將其用法移植到事件循環(huán)中:
async def dl_img(src): dl = await asyncio.create_subprocess_shell('wget {} -O {}'.format(src, src.split("/")[-1]) await dl.wait()
除了上面場景中的用法,也可以直接將命令行的執(zhí)行作為任務(wù)放入事件循環(huán):
loop = asyncio.get_event_loop() sb = asyncio.create_subprocess_shell('exit 7', loop=loop) proc = loop.run_until_complete(sb) exitcode = loop.run_until_complete(proc.wait())
在 Python 異步編程的意義就在于不要讓 CPU 堵在 IO 上,因此需要在每一處涉及到阻塞的操作都需要注意使用正確的異步方法,而一旦這些操作被封裝成異步的 Task 之后,其后續(xù)的調(diào)度執(zhí)行就無需再顧慮了。
看完了這篇文章,相信你對如何異步調(diào)用命令行工具有了一定的了解,想了解更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!