這篇文章主要講解了“怎么把PyTorch Lightning模型部署到生產中”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“怎么把PyTorch Lightning模型部署到生產中”吧！

企業(yè)建站必須是能夠以充分展現(xiàn)企業(yè)形象為主要目的，是企業(yè)文化與產品對外擴展宣傳的重要窗口，一個合格的網(wǎng)站不僅僅能為公司帶來巨大的互聯(lián)網(wǎng)上的收集和信息發(fā)布平臺，創(chuàng)新互聯(lián)公司面向各種領域：成都門簾等成都網(wǎng)站設計公司、營銷型網(wǎng)站解決方案、網(wǎng)站設計等建站排名服務。

部署PyTorch Lightning模型進行推理的每種方法

有三種方法可以導出PyTorch Lightning模型進行投放：

• 將模型另存為PyTorch檢查點

• 將模型轉換為ONNX

• 將模型導出到Torchscript

我們可以通過Cortex為這三個服務。

1.直接打包和部署PyTorch Lightning模塊

從最簡單的方法開始，讓我們部署一個沒有任何轉換步驟的PyTorch Lightning模型。

PyTorch Lightning Trainer是一個抽象樣板訓練代碼（思考訓練和驗證步驟）的類，它具有內置的save_checkpoint（）函數(shù)，該函數(shù)會將您的模型另存為.ckpt文件。要將模型保存為檢查點，只需將以下代碼添加到訓練腳本中：

現(xiàn)在，在我們開始為該檢查點提供服務之前，需要注意的是，雖然我一直說“ PyTorch Lightning模型”，但PyTorch Lightning是PyTorch的包裝器-項目的README字面意思是“ PyTorch Lightning只是有組織的PyTorch。” 因此，導出的模型是普通的PyTorch模型，可以相應地使用。

有了保存的檢查點，我們可以在Cortex中輕松地為模型提供服務。如果您不熟悉Cortex，可以 在這里快速熟悉一下，但是Cortex部署過程的簡單概述是：

• 我們使用Python為我們的模型編寫了一個預測API

• 我們在YAML中定義我們的API基礎結構和行為

• 我們使用CLI中的命令部署API

我們的預測API將使用Cortex的Python Predictor類定義一個init（）函數(shù)來初始化我們的API并加載模型，并使用一個define（）函數(shù)在查詢時提供預測：

很簡單 我們從訓練代碼中重新調整了一些代碼的用途，添加了一些推理邏輯，僅此而已。需要注意的一件事是，如果將模型上傳到S3（推薦），則需要添加一些邏輯來訪問它。

接下來，我們在YAML中配置基礎架構：

再次，簡單。我們給我們的API起個名字，告訴Cortex我們的預測API在哪里，并分配一些CPU。

接下來，我們部署它：

請注意，我們還可以部署到集群，由Cortex加速和管理：

在所有部署中，Cortex都會容器化我們的API并將其公開為Web服務。通過云部署，Cortex可以配置負載平衡，自動擴展，監(jiān)視，更新和許多其他基礎架構功能。

就是這樣！現(xiàn)在，我們有一個實時Web API，可根據(jù)要求提供模型預測。

2.導出到ONNX并通過ONNX運行時進行投放

現(xiàn)在，我們已經(jīng)部署了一個普通的PyTorch檢查點，讓事情復雜一些。

PyTorch Lightning最近添加了一個方便的抽象，用于將模型導出到ONNX（以前，您可以使用PyTorch的內置轉換功能，盡管它們需要更多樣板）。要將模型導出到ONNX，只需將以下代碼添加到您的訓練腳本中：

請注意，您的輸入樣本應模仿實際模型輸入的形狀。

導出ONNX模型后，就可以使用Cortex的ONNX Predictor為其提供服務。代碼基本上看起來是相同的，并且過程是相同的。例如，這是一個ONNX預測API：

基本上一樣。唯一的區(qū)別是，我們不是通過直接初始化模型，而是通過onnx_client訪問該數(shù)據(jù)，這是Cortex為服務于我們的模型而啟動的ONNX運行時容器。

我們的YAML看起來也很相似：

我在此處添加了一個監(jiān)視標志，目的只是為了顯示配置的簡便程度，并且有一些ONNX特定字段，但其他方面都是相同的YAML。

最后，我們使用與之前相同的$ cortex deploy命令進行部署，并且我們的ONNX API已啟用。

3.使用Torchscript的JIT編譯器進行序列化

對于最終部署，我們將把PyTorch Lightning模型導出到Torchscript并使用PyTorch的JIT編譯器提供服務。要導出模型，只需將其添加到您的訓練腳本中：

用于此目的的Python API與原始PyTorch示例幾乎相同：

YAML保持與以前相同，并且CLI命令當然是一致的。如果需要的話，我們實際上可以更新我們以前的PyTorch API來使用新模型，只需將新的舊的dictor.py腳本替換為新的腳本，然后再次運行$ cortex部署：

Cortex在此處自動執(zhí)行滾動更新，在該更新中，新的API會被啟動，然后與舊的API交換，從而避免了模型更新之間的任何停機時間。

這就是全部?，F(xiàn)在，您已經(jīng)具有用于實時推理的完全可操作的預測API，可根據(jù)Torchscript模型提供預測。

感謝各位的閱讀，以上就是“怎么把PyTorch Lightning模型部署到生產中”的內容了，經(jīng)過本文的學習后，相信大家對怎么把PyTorch Lightning模型部署到生產中這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！