作者|Roshini Johri
編譯|VK
來源|Towards Data Science
將大規模的機器學習系統投入生產，建立一個漂亮的流線化功能庫，這已經成為我一個新痴迷的技術點。
我最近開始了一系列關於學習和教學如何做到這一點的三部分教程，以實現不同的機器學習工作流程。本文假設了機器學習模型的基本知識，並重點介紹了如何在生產中建立工作流和部署。
在本系列的第一部分中，我們將在Amazon Sagemaker上設置此功能。我們將使用sklearn的波士頓住房數據集。
機器學習生命周期
讓我們花點時間來回顧一下機器學習的生命周期。簡化的機器學習生命周期如下所示：
現在，第一部分，數據准備，實際上應該是包括數據預處理和用於接下來步驟所需的特征工程。我將簡要地概述這些步驟是什么樣子。
- 獲取數據：這是一個從repo、etl等讀取數據的過程，將數據移動到一個位置，以形成訓練數據的原始版本。
- 清理數據：這個階段更多的是做一些基本的清理，比如類型轉換、空處理、確保字符串/類別等是一致的
- 准備/轉換：特征轉換、派生、高階特征，如交互特征、進行一些編碼等。
下一階段包括建模和評估階段：
- 訓練模型：在這個階段，你的數據應該以特征向量的形式出現，標簽分為訓練、驗證和測試。在這個階段，你將讀取這些數據，在訓練集上訓練你的模型，在驗證集上調參並在測試集上進行測試！這也是你保存模型以進行評估的階段。
- 評估模型：評估階段，判斷是否“我的模型做正確的事情”，是最重要的階段之一，我覺得我們從來沒有花足夠的時間在這個階段上。模型評估將幫助你了解模型性能。注意你的模型評估指標，並選擇正確的指標。
最后，也是我們閱讀本文的真正原因，部署。
- 部署到生產環境：這是准備將模型發布到公共的階段。我們要注意概念漂移和模型衰減（由於底層分布的變化而導致性能的變化）
- 監控/收集/評估數據：模型性能、輸入/輸出路徑、錯誤度量、日志、模型組件等都將被時間戳標記和記錄，應圍繞模型選擇建立度量監控和警報系統，以實現完美的管道！
以上是一個簡化但很漂亮的機器學習管道。現在讓我們看看如何使用Amazon Sagemaker設置一個。
Amazon Sagemaker
現在，第一步從創建AWS帳戶開始。如果你已經熟悉Amazon提供的實例（ec2實例）的類型，這會有所幫助。
如果沒有，可以查看這個鏈接：https://aws.amazon.com/sagemaker/pricing/instance-types/
Sagemaker實例針對運行機器學習（ML）算法進行了優化。實例的類型還取決於區域和可用區域。
如果你覺得過多地閱讀有關實例類型的詳細信息很無聊，那么就可以簡化成以下選項：
啟動ML的好實例：ml.m4.xlarge (not free)
啟動DL的好實例：ml.p2.xlarge (not free)
AWS Sagemaker EC2實例有與之關聯的默認配額。你可能不總是得到20，這也會隨着區域的不同而變化。
根據用例的不同，你可能需要請求和增加。這可以通過創建一個帶有AWS支持中心的案例來實現。請在這里查看更多信息：https://docs.aws.amazon.com/general/latest/gr/aws_service_limits.html
Sagemaker Notebook實例
現在要啟動sagemaker Notebook實例，請轉到aws帳戶服務來搜索sagemaker。進入sagemaker頁面后，單擊創建notebook實例。如下所示：
下一步是選擇IAM角色。首先，嘗試創建一個新角色，然后選擇none作為s3bucket，除非有一個s3bucket要從中讀取。另外，此時應該有一個可選的選擇來選擇git存儲庫。滾動到下方並單擊“創建Notebook實例”。
你可以看到正在創建的Notebook的狀態，一旦准備就緒，你可以選擇jupyter或jupyter lab。
如果你需要克隆你的git存儲庫，打開終端從右邊的jupyter面板，選擇new，並執行以下操作:
cd SageMaker
git clone myFunSagemakerRepo
這應該為你設置一個notebook實例和一個GitHub存儲庫。
Sagemaker會議和角色
我們將使用load_boston() 方法從sklearn獲取數據集。然后，我們將這個數據集拆分為訓練、驗證和測試集。
#加載數據
boston_data = load_boston()
#訓練數據
X_bos_pd = pd.DataFrame(boston_data.data, columns=boston_data.feature_names)
#目標
Y_bos_pd = pd.DataFrame(boston_data.target)
#訓練/測試分離
X_train, X_test, Y_train, Y_test = sklearn.model_selection.train_test_split(X_bos_pd, Y_bos_pd, test_size=0.20)
#訓練驗證分離
X_train, X_val, Y_train, Y_val = sklearn.model_selection.train_test_split(X_train, Y_train, test_size=0.33)
一旦訓練、驗證和測試數據集被創建，這些數據集需要上傳到s3（簡單存儲服務）存儲桶中，以便sagemaker容器在執行訓練作業時可以訪問它。
最好使用前綴指定位置，最好是型號名稱和版本，以確保路徑干凈。上傳后，你可以從控制台轉到s3服務並進行檢查。
prefix = 'boston-xgboost-example'
test_location = session.upload_data(os.path.join(data_dir, 'test.csv'), key_prefix=prefix)
val_location = session.upload_data(os.path.join(data_dir, 'validation.csv'), key_prefix=prefix)
train_location = session.upload_data(os.path.join(data_dir, 'train.csv'), key_prefix=prefix)
Sagemaker 訓練
在sagemaker中訓練機器學習模型涉及到創建訓練工作。我們將使用xgboost模型。請查看此處鏈接的文檔，以確保你查看了sagemaker要求和語法：https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html
要訓練sagemaker模型，第一個任務是創建一個包含以下內容的訓練工作：
-
S3訓練/驗證集的位置（注：這應該是csv文件）
-
模型的計算資源（這與我們用於Notebook的資源不同）
-
輸出S3位置（模型）
-
內置模型的Docker路徑
模型評估器
-
為了訓練一個模型，我們需要創建一個模型估計器。這將包含如何訓練模型（配置）的信息。
-
我們將使用名為get_image_uri的SageMaker實用程序方法來獲取內置算法容器的路徑
-
estimator初始化如下所示。我在這里用了一個付費的例子。
container = get_image_uri(session.boto_region_name, 'xgboost')
#xgboost estimator
xgb_estimator = sagemaker.estimator.Estimator(
container,
role,
train_instance_count=1, train_instance_type='ml.m4.xlarge', output_path='s3://{}/{}/output'.format(session.default_bucket(), prefix),
sagemaker_session=session
)
模型超參數
-
在任何一種模型訓練方法中，最重要的部分是，在開始訓練之前，我們需要調用estimator的set_hyperparameters 方法。有關xgboost超參數，請參閱此處：https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost_hyperparameters.html
-
當estimator都設置好后，就可以開始訓練了
xgb_estimator.set_hyperparameters(max_depth=5,
eta=0.2,
gamma=4,
min_child_weight=6,
subsample=0.8,
objective='reg:linear',
early_stopping_rounds=10,
num_round=200)
train_s3 = sagemaker.s3_input(s3_data=train_location, content_type='csv')
validation_s3 = sagemaker.s3_input(s3_data=val_location, content_type='csv')
xgb_estimator.fit({'train': train_s3, 'validation': validation_s3})
模型評估
-
SageMaker使用transformer對象來評估模型。
-
像estimator這樣的transformer對象需要知道instance_count和instance_type以及它需要轉換的測試數據的格式。為了讓transformer以批處理方式評估測試數據，我們需要讓它知道拆分類型是什么，以便將文件分成塊。
xgb_transformer = xgb_estimator.transformer(instance_count = 1, instance_type = 'ml.m4.xlarge')
xgb_transformer.transform(test_location, content_type='text/csv', split_type='Line')
xgb_transformer.wait()
現在，為了把數據從s3移回Notebook進行分析，我們把數據復制一遍
!aws s3 cp --recursive $xgb_transformer.output_path $data_dir
現在我們來評估！
Y_pred = pd.read_csv(os.path.join(data_dir, 'test.csv.out'), header=None)
模型部署
通過高級api進行模型部署非常簡單。我將展示一個示例，演示如何部署我們剛剛訓練過的上述模型。
#調用deploy方法啟動端點實例
xgb_predictor = xgb_estimator.deploy(initial_instance_count=1, instance_type='ml.m4.xlarge')
xgb_predictor.content_type = 'text/csv'
xgb_predictor.serializer = csv_serializer
Y_pred = xgb_predictor.predict(X_test.values).decode('utf-8')
#做完后別忘了關機/清理！
-
與我們如何使用transformer對象進行評估類似，我們可以對部署的模型執行相同的操作。我們可以在不同的概念漂移（可能導致模型衰退的數據的底層分布的變化）運行后的比較這些結果。
-
根據測試集的大小，我們可以決定是一次性發送數據還是分塊發送數據。
-
Xgb predictor需要知道文件的格式以及要使用的序列化器的類型。
這是一個非常簡單的方法，可以嘗試在AWS Sagemaker上設置第一個ml工作流。我建議你先從簡單的開始，然后再轉向復雜的。我們將在后面的文章中討論較低級別的api，並真正深入到細節中。但是為了獲得基本的理解，請嘗試使用一些簡單的數據集進行設置，並使用可用的不同模型。
清理
記得：
- 刪除終端和終端配置
- 刪除模型
- 刪除s3存儲桶
- 停止未使用的Notebook實例
SageMaker文檔：
開發人員文檔可在此處找到：https://docs.aws.amazon.com/sagemaker/latest/dg/
Python SDK文檔（也稱為高級方法）可在以下位置找到：https://sagemaker.readthedocs.io/en/latest/
在github上可以找到Python SDK代碼：https://github.com/aws/sagemaker-python-sdk
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方文檔：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/