目錄
一、Demo實踐
#Step1:庫函數導入 ## 基礎函數庫 import numpy as np ## 導入畫圖庫 import matplotlib.pyplot as plt import seaborn as sns ## 導入邏輯回歸模型函數 from sklearn import svm #Step2:構建數據集並進行模型訓練 ## 構造數據集 x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]]) y_label = np.array([0, 0, 0, 1, 1, 1]) ## 調用SVC模型 （支持向量機分類） svc = svm.SVC(kernel='linear') ## 用SVM模型擬合構造的數據集 svc = svc.fit(x_fearures, y_label) #Step3:模型參數查看 ## 查看其對應模型的w print('the weight of Logistic Regression:',svc.coef_) #the weight of Logistic Regression: [[0.33364706 0.33270588]] ## 查看其對應模型的w0 print('the intercept(w0) of Logistic Regression:',svc.intercept_) #the intercept(w0) of Logistic Regression: [-0.00031373] #Step4:模型預測 ## 模型預測 y_train_pred = svc.predict(x_fearures) print('The predction result:',y_train_pred) #The predction result: [0 0 0 1 1 1] #Step5:模型可視化 #由於此處選擇的線性核函數，所以在此我們可以將svm進行可視化 # 最佳函數 x_range = np.linspace(-3, 3) w = svc.coef_[0] a = -w[0] / w[1] y_3 = a*x_range - (svc.intercept_[0]) / w[1] # 可視化決策邊界 plt.figure() plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis') plt.plot(x_range, y_3, '-c') plt.show()
可以對照之前的邏輯回歸模型的決策邊界，我們可以發現兩個決策邊界是有一定差異的（可以對比兩者在X,Y軸 上的截距），這說明這兩個不同在相同數據集上找到的判別線是不同的，而這不同的原因其實是由於兩者選擇的 最優目標是不一致的。接下來我們進行SVM的一些簡單介紹。
二、支持向量機
我們常常會碰到這樣的一個問題，首先給你一些分屬於兩個類別的數據
import numpy as np import matplotlib.pyplot as plt from sklearn.datasets.samples_generator import make_blobs %matplotlib inline # 畫圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=60, cmap=plt.cm.Paired)
現在需要一個線性分類器，將這些數據分開來。
我們可能會有多種分法：
# 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) x_fit = np.linspace(0, 3) # 畫函數 y_1 = 1 * x_fit + 0.8 plt.plot(x_fit, y_1, '-c') y_2 = -0.3 * x_fit + 3 plt.plot(x_fit, y_2, '-k')
那么現在有一個問題，兩個分類器，哪一個更好呢？
為了判斷好壞，我們需要引入一個准則：好的分類器不僅僅是能夠很好的分開已有的數據集，還能對未知數據集 進行兩個的划分。
假設，現在有一個屬於紅色數據點的新數據（3， 2.8）
# 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) plt.scatter([3], [2.8], c='#cccc00', marker='<', s=100, cmap=plt.cm.Paired) x_fit = np.linspace(0, 3) # 畫函數 y_1 = 1 * x_fit + 0.8 plt.plot(x_fit, y_1, '-c') y_2 = -0.3 * x_fit + 3 plt.plot(x_fit, y_2, '-k')
可以看到，此時黑色的線會把這個新的數據集分錯，而藍色的線不會。
我們剛剛舉的例子可能會帶有一些主觀性。
那么如何客觀的評判兩條線的健壯性呢？
此時，我們需要引入一個非常重要的概念：最大間隔。
最大間隔刻畫着當前分類器與數據集的邊界，以這兩個分類器為例：
可以看到， 藍色的線最大間隔是大於黑色的線的。
所以我們會選擇藍色的線作為我們的分類器。
# 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 畫圖 y_1 = 1 * x_fit + 0.8 plt.plot(x_fit, y_1, '-c') # 畫邊距 plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4)
那么，我們現在的分類器是最優分類器嗎？
或者說，有沒有更好的分類器，它具有更大的間隔？
答案是有的。
為了找出最優分類器，我們需要引入我們今天的主角：SVM
from sklearn.svm import SVC # SVM 函數 clf = SVC(kernel='linear') clf.fit(X, y) # 最佳函數 w = clf.coef_[0] a = -w[0] / w[1] y_3 = a*x_fit - (clf.intercept_[0]) / w[1] # 最大邊距 下屆 b_down = clf.support_vectors_[0] y_down = a* x_fit + b_down[1] - a * b_down[0] # 最大邊距 上屆 b_up = clf.support_vectors_[-1] y_up = a* x_fit + b_up[1] - a * b_up[0] # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 畫函數 plt.plot(x_fit, y_3, '-c') # 畫邊距 plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4) # 畫支持向量 plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none')
全部代碼如下（折疊）
# -*- coding: utf-8 -*- """ Created on Tue Aug 11 10:12:48 2020 @author: Admin """ import numpy as np import matplotlib.pyplot as plt from sklearn.datasets.samples_generator import make_blobs %matplotlib inline # 畫圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=60, cmap=plt.cm.Paired) # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) x_fit = np.linspace(0, 3) # 畫函數 y_1 = 1 * x_fit + 0.8 plt.plot(x_fit, y_1, '-c') y_2 = -0.3 * x_fit + 3 plt.plot(x_fit, y_2, '-k') # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) plt.scatter([3], [2.8], c='#cccc00', marker='<', s=100, cmap=plt.cm.Paired) x_fit = np.linspace(0, 3) # 畫函數 y_1 = 1 * x_fit + 0.8 plt.plot(x_fit, y_1, '-c') y_2 = -0.3 * x_fit + 3 plt.plot(x_fit, y_2, '-k') # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) x_fit = np.linspace(0, 3) # 畫函數 y_1 = 1 * x_fit + 0.8 plt.plot(x_fit, y_1, '-c') # 畫邊距 plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4) y_2 = -0.3 * x_fit + 3 plt.plot(x_fit, y_2, '-k') plt.fill_between(x_fit, y_2 - 0.4, y_2 + 0.4, edgecolor='none', color='#AAAAAA', alpha=0.4) # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 畫圖 y_1 = 1 * x_fit + 0.8 plt.plot(x_fit, y_1, '-c') # 畫邊距 plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4) from sklearn.svm import SVC # SVM 函數 clf = SVC(kernel='linear') clf.fit(X, y) # 最佳函數 w = clf.coef_[0] a = -w[0] / w[1] y_3 = a*x_fit - (clf.intercept_[0]) / w[1] # 最大邊距 下屆 b_down = clf.support_vectors_[0] y_down = a* x_fit + b_down[1] - a * b_down[0] # 最大邊距 上屆 b_up = clf.support_vectors_[-1] y_up = a* x_fit + b_up[1] - a * b_up[0] # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 畫函數 plt.plot(x_fit, y_3, '-c') # 畫邊距 plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4) # 畫支持向量 plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none')
三、軟間隔
但很多時候，我們拿到的數據是這樣子的
# 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
這種情況並不容易找到這樣的最大間隔。
於是我們就有了軟間隔，相比於硬間隔而言，我們允許個別數據出現在間隔帶中。
我們知道，如果沒有一個原則進行約束，滿足軟間隔的分類器也會出現很多條。
所以需要對分錯的數據進行懲罰，SVC 函數中，有一個參數 C 就是懲罰參數。
懲罰參數越小，容忍性就越大。
以 C=1 為例子，比如說：
# 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 懲罰參數：C=1 clf = SVC(C=1, kernel='linear') clf.fit(X, y) # 最佳函數 w = clf.coef_[0] a = -w[0] / w[1] y_3 = a*x_fit - (clf.intercept_[0]) / w[1] # 最大邊距 下界 b_down = clf.support_vectors_[0] y_down = a* x_fit + b_down[1] - a * b_down[0] # 最大邊距 上界 b_up = clf.support_vectors_[-1] y_up = a* x_fit + b_up[1] - a * b_up[0] # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 畫函數 plt.plot(x_fit, y_3, '-c') # 畫邊距 plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4) # 畫支持向量 plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none')
懲罰參數 C=0.2 時，SVM 會更具包容性，從而兼容更多的錯分樣本：
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 懲罰參數：C=0.2 clf = SVC(C=0.2, kernel='linear') clf.fit(X, y) x_fit = np.linspace(-1.5, 4) # 最佳函數 w = clf.coef_[0] a = -w[0] / w[1] y_3 = a*x_fit - (clf.intercept_[0]) / w[1] # 最大邊距 下屆 b_down = clf.support_vectors_[10] y_down = a* x_fit + b_down[1] - a * b_down[0] # 最大邊距 上屆 b_up = clf.support_vectors_[1] y_up = a* x_fit + b_up[1] - a * b_up[0] # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 畫函數 plt.plot(x_fit, y_3, '-c') # 畫邊距 plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4) # 畫支持向量 plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none')
全部代碼如下（已折疊）
# -*- coding: utf-8 -*- """ Created on Tue Aug 11 10:12:48 2020 @author: Admin """ import numpy as np import matplotlib.pyplot as plt from sklearn.datasets.samples_generator import make_blobs %matplotlib inline # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 懲罰參數：C=1 clf = SVC(C=1, kernel='linear') clf.fit(X, y) # 最佳函數 w = clf.coef_[0] a = -w[0] / w[1] y_3 = a*x_fit - (clf.intercept_[0]) / w[1] # 最大邊距 下界 b_down = clf.support_vectors_[0] y_down = a* x_fit + b_down[1] - a * b_down[0] # 最大邊距 上界 b_up = clf.support_vectors_[-1] y_up = a* x_fit + b_up[1] - a * b_up[0] # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 畫函數 plt.plot(x_fit, y_3, '-c') # 畫邊距 plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4) # 畫支持向量 plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none') X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 懲罰參數：C=0.2 clf = SVC(C=0.2, kernel='linear') clf.fit(X, y) x_fit = np.linspace(-1.5, 4) # 最佳函數 w = clf.coef_[0] a = -w[0] / w[1] y_3 = a*x_fit - (clf.intercept_[0]) / w[1] # 最大邊距 下屆 b_down = clf.support_vectors_[10] y_down = a* x_fit + b_down[1] - a * b_down[0] # 最大邊距 上屆 b_up = clf.support_vectors_[1] y_up = a* x_fit + b_up[1] - a * b_up[0] # 畫散點圖 X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) # 畫函數 plt.plot(x_fit, y_3, '-c') # 畫邊距 plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4) # 畫支持向量 plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none')
四、超平面
如果我們遇到這樣的數據集，沒有辦法利用線性分類器進行分類
from sklearn.datasets.samples_generator import make_circles # 畫散點圖 X, y = make_circles(100, factor=.1, noise=.1, random_state=2019) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) clf = SVC(kernel='linear').fit(X, y) # 最佳函數 x_fit = np.linspace(-1.5, 1.5) w = clf.coef_[0] a = -w[0] / w[1] y_3 = a*X - (clf.intercept_[0]) / w[1] plt.plot(X, y_3, '-c')
我們可以將二維（低維）空間的數據映射到三維（高維）空間中。
此時，我們便可以通過一個超平面對數據進行划分。
所以，我們映射的目的在於使用 SVM 在高維空間找到超平面的能力。
from mpl_toolkits.mplot3d import Axes3D # 數據映射 r = np.exp(-(X[:, 0] ** 2 + X[:, 1] ** 2)) ax = plt.subplot(projection='3d') ax.scatter3D(X[:, 0], X[:, 1], r, c=y, s=50, cmap=plt.cm.Paired) ax.set_xlabel('x') ax.set_ylabel('y') ax.set_zlabel('z') x_1, y_1 = np.meshgrid(np.linspace(-1, 1), np.linspace(-1, 1)) z = 0.01*x_1 + 0.01*y_1 + 0.5 ax.plot_surface(x_1, y_1, z, alpha=0.3)
在 SVC 中，我們可以用高斯核函數來實現這以功能：kernel='rbf'
# 畫圖 X, y = make_circles(100, factor=.1, noise=.1, random_state=2019) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) clf = SVC(kernel='rbf') clf.fit(X, y) ax = plt.gca() x = np.linspace(-1, 1) y = np.linspace(-1, 1) x_1, y_1 = np.meshgrid(x, y) P = np.zeros_like(x_1) for i, xi in enumerate(x): for j, yj in enumerate(y): P[i, j] = clf.decision_function(np.array([[xi, yj]])) ax.contour(x_1, y_1, P, colors='k', levels=[-1, 0, 0.9], alpha=0.5, linestyles=['--', '-', '--']) plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none');
此時便完成了非線性分類。
SVM 的基礎知識的直觀感受到此就結束了。
代碼（已折疊）
# -*- coding: utf-8 -*- """ Created on Tue Aug 11 10:12:48 2020 @author: Admin """ import numpy as np import matplotlib.pyplot as plt %matplotlib inline from sklearn.datasets.samples_generator import make_circles # 畫散點圖 X, y = make_circles(100, factor=.1, noise=.1, random_state=2019) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) clf = SVC(kernel='linear').fit(X, y) # 最佳函數 x_fit = np.linspace(-1.5, 1.5) w = clf.coef_[0] a = -w[0] / w[1] y_3 = a*X - (clf.intercept_[0]) / w[1] plt.plot(X, y_3, '-c') from mpl_toolkits.mplot3d import Axes3D # 數據映射 r = np.exp(-(X[:, 0] ** 2 + X[:, 1] ** 2)) ax = plt.subplot(projection='3d') ax.scatter3D(X[:, 0], X[:, 1], r, c=y, s=50, cmap=plt.cm.Paired) ax.set_xlabel('x') ax.set_ylabel('y') ax.set_zlabel('z') x_1, y_1 = np.meshgrid(np.linspace(-1, 1), np.linspace(-1, 1)) z = 0.01*x_1 + 0.01*y_1 + 0.5 ax.plot_surface(x_1, y_1, z, alpha=0.3) # 畫圖 X, y = make_circles(100, factor=.1, noise=.1, random_state=2019) plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired) clf = SVC(kernel='rbf') clf.fit(X, y) ax = plt.gca() x = np.linspace(-1, 1) y = np.linspace(-1, 1) x_1, y_1 = np.meshgrid(x, y) P = np.zeros_like(x_1) for i, xi in enumerate(x): for j, yj in enumerate(y): P[i, j] = clf.decision_function(np.array([[xi, yj]])) ax.contour(x_1, y_1, P, colors='k', levels=[-1, 0, 0.9], alpha=0.5, linestyles=['--', '-', '--']) plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b', s=80, facecolors='none');
文章轉自：https://developer.aliyun.com/ai/scenario/b6c1ef3172d84236ae10c3b91798a796