本篇文章為大家展示了如何在AWS上部署監(jiān)控和擴展機器學(xué)習(xí)模型，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。
我們提供的服務(wù)有：做網(wǎng)站、成都做網(wǎng)站、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、方山ssl等。為上千多家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的方山網(wǎng)站制作公司
部署健壯的、可擴展的機器學(xué)習(xí)解決方案仍然是一個非常復(fù)雜的過程，需要大量的人力參與，并做出很多努力。因此，新產(chǎn)品和服務(wù)需要很長時間才能上市，或者在原型狀態(tài)下就被放棄，從而降低了行業(yè)內(nèi)的對它的興趣。那么，我們?nèi)绾尾拍艽龠M將機器學(xué)習(xí)模型投入生產(chǎn)的過程呢?
Cortex是一個將機器學(xué)習(xí)模型部署為生產(chǎn)網(wǎng)絡(luò)服務(wù)的開源平臺。它利用強大的AWS生態(tài)系統(tǒng)，根據(jù)需要部署、監(jiān)視和擴展與框架無關(guān)的模型。其主要特點概括如下:
框架無關(guān):Cortex支持任何python代碼;與其他python腳本一樣，TensorFlow、PyTorch、scikit-learn、XGBoost都是由該庫支持的。
自動縮放:Cortex自動縮放你的api，以處理生產(chǎn)負載。
CPU / GPU支持:使用AWS IaaS作為底層基礎(chǔ)架構(gòu)，Cortex可以在CPU或GPU環(huán)境下運行。
Spot實例:Cortex支持EC2 Spot實例來降低成本。
滾動更新:Cortex對模型應(yīng)用任何更新，沒有任何停機時間。
日志流:Cortex使用類似docker的語法將部署模型中的日志保存下來，并將其流式傳輸?shù)紺LI。
預(yù)測監(jiān)測:Cortex監(jiān)測網(wǎng)絡(luò)指標(biāo)并跟蹤預(yù)測。
最小配置:Cortex部署配置被定義為一個簡單的YAML文件。
在本文中，我們使用Cortex將一個圖像分類模型作為web服務(wù)部署到AWS上。那么，言歸正傳，讓我們來介紹一下Cortex。
在這個例子中，我們使用fast.ai庫（https://pypi.org/project/fastai/） ，并從相關(guān)MOOC的第一個課程中（https://course.fast.ai/） 借用pets分類模型。以下各節(jié)介紹了Cortex的安裝和pets分類模型作為web服務(wù)的部署。
如果還沒有安裝，首先應(yīng)該在AWS上創(chuàng)建一個具有編程訪問權(quán)限的新用戶帳戶。為此，請選擇IAM服務(wù)，然后從右側(cè)面板中選擇Users，最后按Add User按鈕。為用戶指定一個名稱并選擇Programmatic access。
接下來，在Permissions 屏幕中，選擇Attach existing policies directly選項卡，然后選擇AdministratorAccess。
你可以將標(biāo)記頁留空，查看并創(chuàng)建用戶。最后，注意訪問密鑰ID和密鑰訪問密鑰。
在AWS控制臺上，你還可以創(chuàng)建一個S3 bucket來存儲經(jīng)過訓(xùn)練的模型和代碼可能生成的任何其他人工制品。你可以隨意命名這個bucket，只要它是一個唯一的名字。在這里，我們創(chuàng)建了一個名為cortex-pets-model的bucket。
下一步，我們必須在系統(tǒng)上安裝Cortex CLI并啟動Kubernetes集群。要安裝Cortex CLI，請運行以下命令：
bash -c “$(curl -sS https://raw.githubusercontent.com/cortexlabs/cortex/0.14/get-cli.sh)"
通過訪問相應(yīng)的文檔部分(https://www.cortex.dev/) ，檢查你是否正在安裝最新版本的Cortex CLI。
我們現(xiàn)在準(zhǔn)備建立集群。使用Cortex創(chuàng)建Kubernetes集群是很簡單的。只需執(zhí)行以下命令：
cortex cluster up
Cortex會要求你提供一些信息，比如你的AWS密鑰、你想使用的區(qū)域、你想啟動的計算實例以及它們的數(shù)量。Cortex也會讓你知道你會花多少錢來使用你選擇的服務(wù)。整個過程可能需要20分鐘。
Cortex并不關(guān)心你如何創(chuàng)建或訓(xùn)練你的模型。在本例中，我們使用fast.ai庫和Oxford IIIT Pet數(shù)據(jù)集。這個數(shù)據(jù)集包含37種不同的狗和貓。因此，我們的模型應(yīng)該將每個圖像分為這37類。
創(chuàng)建一個類似下面的trainer.py文件
import boto3 import pickle from fastai.vision import * # initialize boto session session = boto3.Session( aws_access_key_id=, aws_secret_access_key=' ', ) # get the data path = untar_data(URLs.PETS, dest='sample_data') path_img = path/'images' fnames = get_image_files(path_img) # process the data bs = 64 pat = r'/([^/]+)_\d+.jpg$' data = ImageDataBunch.from_name_re(path_img, fnames, pat, ds_tfms=get_transforms(), size=224, bs=bs) \ .normalize(imagenet_stats) # create, fit and save the model learn = cnn_learner(data, models.resnet18, metrics=accuracy) learn.fit_one_cycle(4) with open('model.pkl', 'wb') as handle: pickle.dump(learn.model, handle) # upload the model to s3 s3 = session.client('s3') s3.upload_file('model.pkl', 'cortex-pets-model', 'model.pkl')
與其他python腳本一樣，在本地運行該腳本:python trainer.py
但是，請確保提供你的AWS憑據(jù)和S3 bucket名稱。這個腳本獲取數(shù)據(jù)，處理它們，適合一個預(yù)先訓(xùn)練好的ResNet模型并將其上傳到S3。當(dāng)然，你可以使用幾種技術(shù)(更復(fù)雜的體系結(jié)構(gòu)、有區(qū)別的學(xué)習(xí)率、面向更多時代的訓(xùn)練)來擴展此腳本以使模型更精確，但是這與我們的目標(biāo)無關(guān)。如果你想進一步了解ResNet體系結(jié)構(gòu)，請參閱下面的文章。
https://towardsdatascience.com/xresnet-from-scratch-in-pytorch-e64e309af722
現(xiàn)在我們已經(jīng)訓(xùn)練了模型并將其存儲在S3中，下一步是將其作為web服務(wù)部署到生產(chǎn)環(huán)境中。為此，我們創(chuàng)建了一個名為predictor.py的python腳本,像下圖:
import torch import boto3 import pickle import requests from PIL import Image from io import BytesIO from torchvision import transforms # initialize boto session session = boto3.Session( aws_access_key_id='', aws_secret_access_key=' ', ) # define the predictor class PythonPredictor: def __init__(self, config): s3 = session.client('s3') s3.download_file(config['bucket'], config['key'], 'model.pkl') self.model = pickle.load(open('model.pkl', 'rb')) self.model.eval() normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) self.preprocess = transforms.Compose( [transforms.Resize(224), transforms.ToTensor(), normalize] ) self.labels = ['Abyssinian', 'Bengal', 'Birman', 'Bombay', 'British_Shorthair', 'Egyptian_Mau', 'Maine_Coon', 'Persian', 'Ragdoll', 'Russian_Blue', 'Siamese', 'Sphynx', 'american_bulldog', 'american_pit_bull_terrier', 'basset_hound', 'beagle', 'boxer', 'chihuahua', 'english_cocker_spaniel', 'english_setter', 'german_shorthaired', 'great_pyrenees', 'havanese', 'japanese_chin', 'keeshond', 'leonberger', 'miniature_pinscher', 'newfoundland', 'pomeranian', 'pug', 'saint_bernard', 'samoyed', 'scottish_terrier', 'shiba_inu', 'staffordshire_bull_terrier', 'wheaten_terrier', 'yorkshire_terrier'] self.device = config['device'] def predict(self, payload): image = requests.get(payload["url"]).content img_pil = Image.open(BytesIO(image)) img_tensor = self.preprocess(img_pil) img_tensor.unsqueeze_(0) img_tensor = img_tensor.to(self.device) with torch.no_grad(): prediction = self.model(img_tensor) _, index = prediction[0].max(0) return self.labels[index]
這個文件定義了一個預(yù)測器類。在實例化它時，它從S3中檢索模型，將其加載到內(nèi)存中，并定義一些必要的轉(zhuǎn)換和參數(shù)。在推理期間，它從給定的URL中讀取圖像并返回預(yù)測的類的名稱。一個用于初始化的方法__init__和一個用于接收有效負載并返回結(jié)果的預(yù)測方法predict。
預(yù)測器腳本有兩個附帶的文件。一個記錄庫依賴項的requirements.txt文件(如pytorch、fastai、boto3等)和一個YAML配置文件。最小配置如下:
- name: pets-classifier predictor: type: python path: predictor.py config: bucket: cortex-pets-model key: model.pkl device: cpu
在這個YAML文件中，我們定義了運行哪個腳本進行推理，在哪個設(shè)備(例如CPU)上運行，以及在哪里找到訓(xùn)練好的模型。文檔中提供了更多的選項。
最后，項目的結(jié)構(gòu)應(yīng)該遵循下面的層次結(jié)構(gòu)。請注意，這是最低限度的要求，但是如果你有一個可以部署的模型，那么你可以提交train .py。
- Project name |----trainer.py |----predictor.py |----requirements.txt |----cortex.yaml
有了所有這些，你只需運行cortex deploy，幾秒鐘之內(nèi)，你的新端點就可以接受請求了。執(zhí)行corted get pets-classifier來監(jiān)視端點并查看其他詳細信息。
status up-to-date requested last update avg request 2XX live 1 1 13m - - endpoint: http://a984d095c6d3a11ea83cc0acfc96419b-1937254434.us-west-2.elb.amazonaws.com/pets-classifier curl: curl http://a984d095c6d3a11ea83cc0acfc96419b-1937254434.us-west-2.elb.amazonaws.com/pets-classifier?debug=true -X POST -H "Content-Type: application/json" -d @sample.json configuration name: pets-classifier endpoint: /pets-classifier predictor: type: python path: predictor.py config: bucket: cortex-pets-model device: cpu key: model.pkl compute: cpu: 200m autoscaling: min_replicas: 1 max_replicas: 100 init_replicas: 1 workers_per_replica: 1 threads_per_worker: 1 target_replica_concurrency: 1.0 max_replica_concurrency: 1024 window: 1m0s downscale_stabilization_period: 5m0s upscale_stabilization_period: 0s max_downscale_factor: 0.5 max_upscale_factor: 10.0 downscale_tolerance: 0.1 upscale_tolerance: 0.1 update_strategy: max_surge: 25% max_unavailable: 25%
剩下的就是用curl和pomeranian的圖像來測試它:
重慶分公司
重慶分公司
curl http://a984d095c6d3a11ea83cc0acfc96419b-1937254434.us-west-2.elb.amazonaws.com/pets-classifier -X POST -H "Content-Type: application/json" -d '{"url": "https://i.imgur.com/HPRQ28l.jpeg"}'當(dāng)我們完成服務(wù)和集群時，我們應(yīng)該釋放資源以避免額外的成本。Cortex很容易做到：
cortex delete pets-classifier cortex cluster down
在這篇文章中，我們看到了如何使用Cortex，一個開源平臺，來將機器學(xué)習(xí)模型部署為生產(chǎn)web服務(wù)。我們訓(xùn)練了一個圖像分類器，將其部署到AWS上，監(jiān)控其性能并進行測試。
上述內(nèi)容就是如何在AWS上部署監(jiān)控和擴展機器學(xué)習(xí)模型，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
