本篇內(nèi)容主要講解“怎么在Amazon Sagemaker上設(shè)置功能”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“怎么在Amazon Sagemaker上設(shè)置功能”吧!

創(chuàng)新互聯(lián)公司主要業(yè)務(wù)有網(wǎng)站營(yíng)銷策劃、做網(wǎng)站、成都做網(wǎng)站、微信公眾號(hào)開(kāi)發(fā)、小程序開(kāi)發(fā)、HTML5建站、程序開(kāi)發(fā)等業(yè)務(wù)。一次合作終身朋友，是我們奉行的宗旨；我們不僅僅把客戶當(dāng)客戶，還把客戶視為我們的合作伙伴，在開(kāi)展業(yè)務(wù)的過(guò)程中，公司還積累了豐富的行業(yè)經(jīng)驗(yàn)、成都營(yíng)銷網(wǎng)站建設(shè)資源和合作伙伴關(guān)系資源，并逐漸建立起規(guī)范的客戶服務(wù)和保障體系。 

機(jī)器學(xué)習(xí)生命周期

讓我們花點(diǎn)時(shí)間來(lái)回顧一下機(jī)器學(xué)習(xí)的生命周期。簡(jiǎn)化的機(jī)器學(xué)習(xí)生命周期如下所示：

現(xiàn)在，第一部分，數(shù)據(jù)準(zhǔn)備，實(shí)際上應(yīng)該是包括數(shù)據(jù)預(yù)處理和用于接下來(lái)步驟所需的特征工程。我將簡(jiǎn)要地概述這些步驟是什么樣子。

• 獲取數(shù)據(jù)：這是一個(gè)從repo、etl等讀取數(shù)據(jù)的過(guò)程，將數(shù)據(jù)移動(dòng)到一個(gè)位置，以形成訓(xùn)練數(shù)據(jù)的原始版本。

• 清理數(shù)據(jù)：這個(gè)階段更多的是做一些基本的清理，比如類型轉(zhuǎn)換、空處理、確保字符串/類別等是一致的

• 準(zhǔn)備/轉(zhuǎn)換：特征轉(zhuǎn)換、派生、高階特征，如交互特征、進(jìn)行一些編碼等。

下一階段包括建模和評(píng)估階段：

• 訓(xùn)練模型：在這個(gè)階段，你的數(shù)據(jù)應(yīng)該以特征向量的形式出現(xiàn)，標(biāo)簽分為訓(xùn)練、驗(yàn)證和測(cè)試。在這個(gè)階段，你將讀取這些數(shù)據(jù)，在訓(xùn)練集上訓(xùn)練你的模型，在驗(yàn)證集上調(diào)參并在測(cè)試集上進(jìn)行測(cè)試！這也是你保存模型以進(jìn)行評(píng)估的階段。

• 評(píng)估模型：評(píng)估階段，判斷是否“我的模型做正確的事情”，是最重要的階段之一，我覺(jué)得我們從來(lái)沒(méi)有花足夠的時(shí)間在這個(gè)階段上。模型評(píng)估將幫助你了解模型性能。注意你的模型評(píng)估指標(biāo)，并選擇正確的指標(biāo)。

最后，也是我們閱讀本文的真正原因，部署。

• 部署到生產(chǎn)環(huán)境：這是準(zhǔn)備將模型發(fā)布到公共的階段。我們要注意概念漂移和模型衰減（由于底層分布的變化而導(dǎo)致性能的變化）

• 監(jiān)控/收集/評(píng)估數(shù)據(jù)：模型性能、輸入/輸出路徑、錯(cuò)誤度量、日志、模型組件等都將被時(shí)間戳標(biāo)記和記錄，應(yīng)圍繞模型選擇建立度量監(jiān)控和警報(bào)系統(tǒng)，以實(shí)現(xiàn)完美的管道！

以上是一個(gè)簡(jiǎn)化但很漂亮的機(jī)器學(xué)習(xí)管道。現(xiàn)在讓我們看看如何使用Amazon Sagemaker設(shè)置一個(gè)。

Amazon Sagemaker

現(xiàn)在，第一步從創(chuàng)建AWS帳戶開(kāi)始。如果你已經(jīng)熟悉Amazon提供的實(shí)例（ec2實(shí)例）的類型，這會(huì)有所幫助。

Sagemaker實(shí)例針對(duì)運(yùn)行機(jī)器學(xué)習(xí)（ML）算法進(jìn)行了優(yōu)化。實(shí)例的類型還取決于區(qū)域和可用區(qū)域。

如果你覺(jué)得過(guò)多地閱讀有關(guān)實(shí)例類型的詳細(xì)信息很無(wú)聊，那么就可以簡(jiǎn)化成以下選項(xiàng)：

啟動(dòng)ML的好實(shí)例：ml.m4.xlarge (not free)

啟動(dòng)DL的好實(shí)例：ml.p2.xlarge (not free)

AWS Sagemaker EC2實(shí)例有與之關(guān)聯(lián)的默認(rèn)配額。你可能不總是得到20，這也會(huì)隨著區(qū)域的不同而變化。

根據(jù)用例的不同，你可能需要請(qǐng)求和增加。這可以通過(guò)創(chuàng)建一個(gè)帶有AWS支持中心的案例來(lái)實(shí)現(xiàn)。

Sagemaker Notebook實(shí)例

現(xiàn)在要啟動(dòng)sagemaker Notebook實(shí)例，請(qǐng)轉(zhuǎn)到aws帳戶服務(wù)來(lái)搜索sagemaker。進(jìn)入sagemaker頁(yè)面后，單擊創(chuàng)建notebook實(shí)例。如下所示：

下一步是選擇IAM角色。首先，嘗試創(chuàng)建一個(gè)新角色，然后選擇none作為s3bucket，除非有一個(gè)s3bucket要從中讀取。另外，此時(shí)應(yīng)該有一個(gè)可選的選擇來(lái)選擇git存儲(chǔ)庫(kù)。滾動(dòng)到下方并單擊“創(chuàng)建Notebook實(shí)例”。

你可以看到正在創(chuàng)建的Notebook的狀態(tài)，一旦準(zhǔn)備就緒，你可以選擇jupyter或jupyter lab。

如果你需要克隆你的git存儲(chǔ)庫(kù)，打開(kāi)終端從右邊的jupyter面板，選擇new，并執(zhí)行以下操作:

cd SageMaker

git clone myFunSagemakerRepo

這應(yīng)該為你設(shè)置一個(gè)notebook實(shí)例和一個(gè)GitHub存儲(chǔ)庫(kù)。

Sagemaker會(huì)議和角色

我們將使用load_boston() 方法從sklearn獲取數(shù)據(jù)集。然后，我們將這個(gè)數(shù)據(jù)集拆分為訓(xùn)練、驗(yàn)證和測(cè)試集。

#加載數(shù)據(jù)
boston_data = load_boston()

#訓(xùn)練數(shù)據(jù)
X_bos_pd = pd.DataFrame(boston_data.data, columns=boston_data.feature_names)

#目標(biāo)
Y_bos_pd = pd.DataFrame(boston_data.target)

#訓(xùn)練/測(cè)試分離
X_train, X_test, Y_train, Y_test = sklearn.model_selection.train_test_split(X_bos_pd, Y_bos_pd, test_size=0.20)

#訓(xùn)練驗(yàn)證分離
X_train, X_val, Y_train, Y_val = sklearn.model_selection.train_test_split(X_train, Y_train, test_size=0.33)

一旦訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)集被創(chuàng)建，這些數(shù)據(jù)集需要上傳到s3（簡(jiǎn)單存儲(chǔ)服務(wù)）存儲(chǔ)桶中，以便sagemaker容器在執(zhí)行訓(xùn)練作業(yè)時(shí)可以訪問(wèn)它。

最好使用前綴指定位置，最好是型號(hào)名稱和版本，以確保路徑干凈。上傳后，你可以從控制臺(tái)轉(zhuǎn)到s3服務(wù)并進(jìn)行檢查。

prefix = 'boston-xgboost-example'

test_location = session.upload_data(os.path.join(data_dir, 'test.csv'), key_prefix=prefix)
val_location = session.upload_data(os.path.join(data_dir, 'validation.csv'), key_prefix=prefix)
train_location = session.upload_data(os.path.join(data_dir, 'train.csv'), key_prefix=prefix)

Sagemaker 訓(xùn)練

在sagemaker中訓(xùn)練機(jī)器學(xué)習(xí)模型涉及到創(chuàng)建訓(xùn)練工作。我們將使用xgboost模型。

要訓(xùn)練sagemaker模型，第一個(gè)任務(wù)是創(chuàng)建一個(gè)包含以下內(nèi)容的訓(xùn)練工作：

• S3訓(xùn)練/驗(yàn)證集的位置（注：這應(yīng)該是csv文件）

• 模型的計(jì)算資源（這與我們用于Notebook的資源不同）

• 輸出S3位置（模型）

• 內(nèi)置模型的Docker路徑

模型評(píng)估器

• 為了訓(xùn)練一個(gè)模型，我們需要?jiǎng)?chuàng)建一個(gè)模型估計(jì)器。這將包含如何訓(xùn)練模型（配置）的信息。

• 我們將使用名為get_image_uri的SageMaker實(shí)用程序方法來(lái)獲取內(nèi)置算法容器的路徑

• estimator初始化如下所示。我在這里用了一個(gè)付費(fèi)的例子。

container = get_image_uri(session.boto_region_name, 'xgboost')

#xgboost estimator
xgb_estimator = sagemaker.estimator.Estimator(
container, 
role,      
train_instance_count=1,                                                                            train_instance_type='ml.m4.xlarge',                                                 output_path='s3://{}/{}/output'.format(session.default_bucket(), prefix),
sagemaker_session=session
)

模型超參數(shù)

• 在任何一種模型訓(xùn)練方法中，最重要的部分是，在開(kāi)始訓(xùn)練之前，我們需要調(diào)用estimator的set_hyperparameters方法。

• 當(dāng)estimator都設(shè)置好后，就可以開(kāi)始訓(xùn)練了

xgb_estimator.set_hyperparameters(max_depth=5,
                        eta=0.2,
                        gamma=4,
                        min_child_weight=6,
                        subsample=0.8,
                        objective='reg:linear',
                        early_stopping_rounds=10,
                        num_round=200)
                        
train_s3 = sagemaker.s3_input(s3_data=train_location, content_type='csv')
validation_s3 = sagemaker.s3_input(s3_data=val_location, content_type='csv')

xgb_estimator.fit({'train': train_s3, 'validation': validation_s3})

模型評(píng)估

• SageMaker使用transformer對(duì)象來(lái)評(píng)估模型。

• 像estimator這樣的transformer對(duì)象需要知道instance_count和instance_type以及它需要轉(zhuǎn)換的測(cè)試數(shù)據(jù)的格式。為了讓transformer以批處理方式評(píng)估測(cè)試數(shù)據(jù)，我們需要讓它知道拆分類型是什么，以便將文件分成塊。

xgb_transformer = xgb_estimator.transformer(instance_count = 1, instance_type = 'ml.m4.xlarge')

xgb_transformer.transform(test_location, content_type='text/csv', split_type='Line')

xgb_transformer.wait()

現(xiàn)在，為了把數(shù)據(jù)從s3移回Notebook進(jìn)行分析，我們把數(shù)據(jù)復(fù)制一遍

!aws s3 cp --recursive $xgb_transformer.output_path $data_dir

現(xiàn)在我們來(lái)評(píng)估！

Y_pred = pd.read_csv(os.path.join(data_dir, 'test.csv.out'), header=None)

模型部署

通過(guò)高級(jí)api進(jìn)行模型部署非常簡(jiǎn)單。我將展示一個(gè)示例，演示如何部署我們剛剛訓(xùn)練過(guò)的上述模型。

#調(diào)用deploy方法啟動(dòng)端點(diǎn)實(shí)例

xgb_predictor = xgb_estimator.deploy(initial_instance_count=1, instance_type='ml.m4.xlarge')

xgb_predictor.content_type = 'text/csv'
xgb_predictor.serializer = csv_serializer

Y_pred = xgb_predictor.predict(X_test.values).decode('utf-8')

#做完后別忘了關(guān)機(jī)/清理！

• 與我們?nèi)绾问褂胻ransformer對(duì)象進(jìn)行評(píng)估類似，我們可以對(duì)部署的模型執(zhí)行相同的操作。我們可以在不同的概念漂移（可能導(dǎo)致模型衰退的數(shù)據(jù)的底層分布的變化）運(yùn)行后的比較這些結(jié)果。

• 根據(jù)測(cè)試集的大小，我們可以決定是一次性發(fā)送數(shù)據(jù)還是分塊發(fā)送數(shù)據(jù)。

• Xgb predictor需要知道文件的格式以及要使用的序列化器的類型。

這是一個(gè)非常簡(jiǎn)單的方法，可以嘗試在AWS Sagemaker上設(shè)置第一個(gè)ml工作流。我建議你先從簡(jiǎn)單的開(kāi)始，然后再轉(zhuǎn)向復(fù)雜的。我們將在后面的文章中討論較低級(jí)別的api，并真正深入到細(xì)節(jié)中。但是為了獲得基本的理解，請(qǐng)嘗試使用一些簡(jiǎn)單的數(shù)據(jù)集進(jìn)行設(shè)置，并使用可用的不同模型。

清理

記得：

• 刪除終端和終端配置

• 刪除模型

• 刪除s3存儲(chǔ)桶

• 停止未使用的Notebook實(shí)例

到此，相信大家對(duì)“怎么在Amazon Sagemaker上設(shè)置功能”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！