5個PyCaret的常見誤解

本文轉載自查看原文 2020-11-13 00:11 844

作者|Moez Ali
編譯|VK
來源|Towards Data Science

PyCaret

PyCaret是Python中的一個開源、低代碼的機器學習庫，它自動化了機器學習工作流。它是一個端到端的機器學習和模型管理工具，可以加快機器學習實驗的周期，並使你更有效率。

與其他開放源代碼機器學習庫相比，PyCaret是一個低代碼庫，可以用很少的代碼來替換數百行代碼。這使得實驗具有指數級的速度和效率開發。

官方：https://www.pycaret.org
文檔：https://pycaret.readthedocs.io/en/latest/
git：https://www.github.com/pycaret/pycaret

compare_models比你想的要好

當我們在2020年4月發布了PyCaret的1.0版本時，compare_models函數會比較庫中的所有模型，以返回平均的交叉驗證性能指標。在此基礎上，你可以使用create_model來訓練性能最好的模型，並獲得可用於預測的訓練模型輸出。

這種行為后來在版本2.0中進行了更改。compare_models現在根據n_select參數返回最佳模型，該參數默認設置為1，這意味着它將返回最佳模型（默認情況下）。

通過將默認的n_select參數更改為3，可以獲得前3個模型的列表。例如：

返回的對象是經過訓練的模型，實際上不需要再次調用create_model來訓練它們。如果你願意，你可以使用這些模型來生成診斷圖，甚至可以將它們用於預測。例如：

你認為你只限於scikit-learn模型

我們收到很多請求，要求在模型庫中包含非scikit-learn模型。很多人沒有意識到你不僅僅局限於默認模型。create_model函數除了接受模型庫中可用的模型ID之外，還接受未經訓練的模型對象。

只要你的對象與scikit learn-fit/predict-API兼容，它就可以正常工作。例如，我們只需導入未經訓練的NGBClassifier，就可以從ngboost庫中訓練和評估NGBClassifier ：

你也可以把未經訓練的模型傳遞到compare_models 的include參數中，這樣它就可以正常工作了。

注意，包含的參數包括模型庫中三個未訓練模型的ID，即Logistic回歸、決策樹和K近鄰，以及ngboost庫中的一個未訓練對象。另外，請注意，索引表示在include參數中輸入的模型的位置。

你不知道的pull

PyCaret中的所有訓練函數（create_model、tune_model、ensembly_model等）都會顯示一個分數網格，但不會返回分數網格。因此，你不能將分數網格存儲在DataFrame. 但是，有一個名為pull的函數允許你這樣做。例如：

當你使用predict_model函數時，這也適用於保存分數網格。

現在你可以像pandas一樣訪問度量了。例如，你可以創建一個循環來訓練具有不同參數的模型，並使用以下簡單代碼創建一個比較表:

你認為PyCaret是個黑匣子，其實不然。

另一個常見的困惑是，所有的預處理都是在幕后進行的，用戶無法訪問。因此，你無法審核運行設置函數時發生的情況。這不是真的。

PyCaret get_config和set_config中有兩個函數，允許你訪問和更改后台的所有內容，從訓練集到模型的隨機狀態。只需調用help（get_config）即可查看get_config函數的文檔，查看哪些變量可供你訪問：

你可以通過在get_config函數中調用它來訪問該變量。例如，要訪問X_train 轉換后的數據集，請編寫以下內容：

你可以使用set_config函數更改環境變量。根據你目前對pull、get_config和set_config函數的了解，你可以創建一些非常復雜的工作流。例如，可以對保留集重新采樣N次，以評估平均性能指標，而不是依賴於一個保留集：

import numpy as np
Xtest = get_config('X_test')
ytest = get_config('y_test')

AUC = []

for i in np.random.randint(0,1000,size=10):
    Xtest_sampled = Xtest.sample(n = 100, random_state = i)
    ytest_sampled = ytest[Xtest_sampled.index]
    set_config('X_test', Xtest_sampled)
    set_config('y_test', ytest_sampled)
    predict_model(dt);
    AUC.append(pull()['AUC'][0])
    
>>> print(AUC)

[Output]: [0.8182, 0.7483, 0.7812, 0.7887, 0.7799, 0.7967, 0.7812, 0.7209, 0.7958, 0.7404]

>>> print(np.array(AUC).mean())

[Output]: 0.77513

你沒有保存你的實驗

如果你沒有保存你的實驗，你應該立即開始保存它們。無論你是否要使用MLFlow后端服務器，你仍然應該記錄所有的實驗。當你執行任何實驗時，你會生成大量的元數據，這些元數據是不可能手動跟蹤的。

PyCaret的日志功能將在使用get_logs函數時生成一個漂亮、輕量級、易於理解的excel電子表格。例如：

# 加載數據集
from pycaret.datasets import get_data
data = get_data('juice')

# 初始化setup
from pycaret.classification import *
s = setup(data, target = 'Purchase', silent = True, log_experiment = True, experiment_name = 'juice1')

# 比較基線模型
best = compare_models()

# 生成日志
get_logs()