PyTorch發(fā)布原型功能以執(zhí)行機器學習模型設(shè)備上硬件引擎的示例分析，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

目前創(chuàng)新互聯(lián)已為成百上千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)站空間、網(wǎng)站改版維護、企業(yè)網(wǎng)站設(shè)計、田家庵網(wǎng)站維護等服務，公司將堅持客戶導向、應用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

PyTorch最近發(fā)布了四個新的PyTorch原型功能。前三個功能使移動機器學習開發(fā)人員能夠在構(gòu)成片上系統(tǒng)（SOC）系統(tǒng)的全套硬件（HW）引擎上執(zhí)行模型。這使開發(fā)人員可以優(yōu)化其模型執(zhí)行，以獲得獨特的性能，功能和系統(tǒng)級并發(fā)性。

新功能包括以下使能在設(shè)備上的硬件引擎執(zhí)行的功能：

• 使用與Google Android合作開發(fā)的Android神經(jīng)網(wǎng)絡API（NNAPI）的DSP和NPU。

• 通過Vulkan在Android上執(zhí)行GPU

• 通過Metal在iOS上執(zhí)行GPU

在具有Raspberry Pis和Graviton（2）平臺的PyTorch社區(qū)中，ARM的使用不斷增加。因此，新版本還包括開發(fā)人員效率優(yōu)勢，以及最近為Linux推出的ARM64構(gòu)建支持。

Google Android的NNAPI支持

PyTorch與Google Android團隊的合作通過PyTorch Mobile實現(xiàn)了Android的神經(jīng)網(wǎng)絡API（NNAPI）。設(shè)備上機器學習允許ML模型在設(shè)備上本地運行，而無需將數(shù)據(jù)傳輸?shù)?a title="服務器" target="_blank" >服務器。這樣可以降低延遲，并改善隱私和連接性。Android神經(jīng)網(wǎng)絡API（NNAPI）專為在Android小工具上運行用于計算機學習的計算密集型流程而設(shè)計。因此，機器學習模型現(xiàn)在可以訪問手機的片上系統(tǒng)上的其他硬件模塊，從而使開發(fā)人員可以解鎖Android手機上的高性能執(zhí)行。NNAPI使Android應用能夠在為android提供動力的最強大和最活躍的芯片上運行計算加速的神經(jīng)網(wǎng)絡，包括DSP（數(shù)字信號處理器）和NPU（專用神經(jīng)處理單元）。

該API最初在Android 8中引入，并在Android 10和11中進行了顯著擴展，以支持更豐富的AI模型。這種集成使開發(fā)人員可以直接從PyTorch Mobile訪問NNAPI。此初始版本包括對一組核心功能和操作員的全功能支持。谷歌和Facebook將很快致力于擴展功能。

PyTorch移動GPU支持

GPU推論可以在許多模型類型上提供出色的性能，尤其是那些使用高精度浮點數(shù)學運算的模型。像在高通，聯(lián)發(fā)科技和蘋果公司的SOC中找到的那樣，利用GPU來執(zhí)行機器學習模型都支持CPU卸載。這為非機器學習用例釋放了移動CPU。設(shè)備GPU的原型協(xié)助的主要級別是通過iOS的Metal API規(guī)范和Android的Vulkan API規(guī)范。此功能的性能尚未優(yōu)化，并且模型覆蓋范圍有限，因為它尚處于不成熟階段。該團隊預計，這一情況將在2021年顯著改善。

看完上述內(nèi)容，你們掌握PyTorch發(fā)布原型功能以執(zhí)行機器學習模型設(shè)備上硬件引擎的示例分析的方法了嗎？如果還想學到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！