作者|Michael Chau
編譯|VK
來源|Towards Data Science
大家都知道Scikit-Learn——它是數據科學家基本都知道的產品，提供了幾十種易於使用的機器學習算法。它還提供了兩種現成的技術來解決超參數調整問題：網格搜索（GridSearchCV）和隨機搜索（RandomizedSearchCV）。
這兩種技術都是找到正確的超參數配置的強力方法，但是這是一個昂貴和耗時的過程！
如果想加快這個過程呢
在這篇博客文章中，我們介紹了tune-sklearn(https://github.com/ray-project/tune-sklearn)，它使得在使用Scikit-Learn API的同時更容易利用這些新算法。
Tune sklearn是Scikit Learn模型選擇模塊的一個替代品，采用了先進的超參數調整技術（貝葉斯優化、早期停止、分布式執行）——這些技術比網格搜索和隨機搜索提供了顯著的加速！
以下是tune sklearn提供的功能：
-
與Scikit Learn API的一致性：tune sklearn是GridSearchCV和RandomizedSearchCV的一個替換，因此你只需要在標准Scikit Learn腳本中更改不到5行即可使用API。
-
現代超參數調整技術：tune-sklearn允許你通過簡單地切換幾個參數，就可以輕松地利用貝葉斯優化、超空間和其他優化技術。
-
框架支持：tune-sklearn主要用於調優Scikit-Learn模型，但它也支持並為許多其他具有Scikit-Learn框架提供示例，例如Skorch （Pytorch）、KerasClassifiers（Keras）和XGBoostClassifiers（XGBoost）。
-
分布式：Tune sklearn利用Ray Tune，一個分布式超參數調優庫，高效透明地並行化多核甚至多台機器上的交叉驗證。
Tune sklearn也很快。為了看到這一點，我們在標准的超參數掃描上，將tune sklearn（啟用早期停止）與本機Scikit Learn進行基准測試。在我們的基准測試中，我們可以看到普通筆記本電腦和48個CPU核心的大型工作站的顯著性能差異。
對於更大的基准48核計算機，Scikit Learn花了20分鍾在大小為40000的數據集上搜索75個超參數集。Tune sklearn只花了3.5分鍾，並且以最小影響性能的方式執行。
第一個圖：在個人雙核i5 8gb ram筆記本電腦上，搜索6個超參集。第二個圖：在一台48核250gb ram的大型計算機上，搜索75個超參集。
注意：對於較小的數據集（10000個或更少的數據點），在試圖應用早期停止時，可能會犧牲准確性。我們預計這不會對用戶產生影響，因為該庫旨在用大型數據集加速大型訓練任務。
簡單的60秒漫游
運行pip install tune-sklearn ray[tune]開始下面章節的示例代碼。
讓我們來看看它是如何工作的。
Hyperparam set 2是一組沒有希望的超參數，它將被tune的早期停止機制檢測到，並提前停止以避免浪費訓練時間和資源。
TuneGridSearchCV示例
首先，只需更改import語句即可獲得Tune的網格搜索交叉：
# from sklearn.model_selection import GridSearchCV
from tune_sklearn import TuneGridSearchCV
從這里開始，我們將像在Scikit Learn的接口風格中繼續！讓我們使用一個“虛擬”自定義分類數據集和一個SGD分類程序來對數據進行分類。
我們選擇SGDClassifier是因為它有一個partial_fit的 API，這使得它能夠停止擬合特定超參數配置的數據。如果估計器不支持早期停止，我們將回到並行網格搜索。
# 導入其他庫
import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import SGDClassifier
# 設置訓練集和驗證集
X, y = make_classification(n_samples=11000, n_features=1000, n_informative=50,
n_redundant=0, n_classes=10, class_sep=2.5)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=1000)
# 從SGDClassifier調優的示例參數
parameters = {
'alpha': [1e-4, 1e-1, 1],
'epsilon':[0.01, 0.1]
}
如你所見，這里的設置正是你為Scikit Learn所做的設置！現在，讓我們試着擬合一個模型。
tune_search = TuneGridSearchCV(
SGDClassifier(),
parameters,
early_stopping=True,
max_iters=10
)
import time # 比較擬合時間
start = time.time()
tune_search.fit(X_train, y_train)
end = time.time()
print("Tune Fit Time:", end - start)
pred = tune_search.predict(X_test)
accuracy = np.count_nonzero(np.array(pred) == np.array(y_test)) / len(pred)
print("Tune Accuracy:", accuracy)
請注意我們在上面介紹的細微差別：
-
一個新的early_stopping變量，以及
-
max_iters參數
early_stopping決定何時停止，MedianStoppingRule 是一個很好的默認設置，但是請參閱Tune的關於調度器的文檔，以獲得可供選擇的完整列表：https://docs.ray.io/en/master/tune-schedulers.html
max_iters是給定的超參數集可以運行的最大迭代次數；如果提前停止搜索超參數集，則可以運行較少的迭代。
請嘗試將其與GridSearchCV進行比較
from sklearn.model_selection import GridSearchCV
# n_jobs=-1 使用所有內核
sklearn_search = GridSearchCV(
SGDClassifier(),
parameters,
n_jobs=-1
)
start = time.time()
sklearn_search.fit(X_train, y_train)
end = time.time()
print("Sklearn Fit Time:", end - start)
pred = sklearn_search.predict(X_test)
accuracy = np.count_nonzero(np.array(pred) == np.array(y_test)) / len(pred)
print("Sklearn Accuracy:", accuracy)
TuneSearchCV貝葉斯優化示例
除了網格搜索接口之外，tunesklearn還提供了一個接口TuneSearchCV，用於從超參數分布中進行采樣。
此外，只需幾行代碼更改，就可以輕松地對TuneSearchCV中的發行版啟用貝葉斯優化。
運行pip install scikit-optimize以嘗試以下示例：
from tune_sklearn import TuneSearchCV
# 其他導入
import scipy
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import SGDClassifier
# 設置訓練集和驗證集
X, y = make_classification(n_samples=11000, n_features=1000, n_informative=50,
n_redundant=0, n_classes=10, class_sep=2.5)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=1000)
# 從SGDClassifier調優的示例參數
# 注意，如果需要貝葉斯優化，則使用元組
param_dists = {
'alpha': (1e-4, 1e-1),
'epsilon': (1e-2, 1e-1)
}
tune_search = TuneSearchCV(SGDClassifier(),
param_distributions=param_dists,
n_iter=2,
early_stopping=True,
max_iters=10,
search_optimization="bayesian"
)
tune_search.fit(X_train, y_train)
print(tune_search.best_params_)
第17、18和26行是為啟用貝葉斯優化而更改的代碼行
如你所見，將tunesklearn集成到現有代碼中非常簡單。你可以看看更詳細的例子：https://github.com/ray-project/tune-sklearn。
另外請看一看Ray對joblib的替代，它允許用戶在多個節點（而不僅僅是一個節點）上並行化訓練，從而進一步加快了訓練速度。
文檔和示例
-
示例：Skorch with tune-sklearn：https://github.com/ray-project/tune-sklearn/blob/master/examples/torch_nn.py)
-
示例：Scikit-Learn Pipelines with tune-sklearn：https://github.com/ray-project/tune-sklearn/blob/master/examples/sklearn_pipeline.py
-
示例：XGBoost with tune-sklearn：https://github.com/ray-project/tune-sklearn/blob/master/examples/xgbclassifier.py
-
示例：KerasClassifier with tune-sklearn：https://github.com/ray-project/tune-sklearn/blob/master/examples/keras_example.py
-
示例：LightGBM with tune-sklearn：https://github.com/ray-project/tune-sklearn/blob/master/examples/lgbm.py
注意：從導入ray.tune如鏈接文檔所示，僅在nightly Ray wheels上可用，不久將在pip上提供
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方文檔：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/