作業信息
| 博客班級 | 機器學習實驗-計算機18級 |
|---|---|
| 作業要求 | 作業要求 |
| 作業目標 | 理解感知器算法原理，能實現感知器算法；掌握機器學習算法的度量指標 |
| 學號 | 3180701305 |
一、實驗目的
-
理解感知器算法原理，能實現感知器算法；
-
掌握機器學習算法的度量指標；
-
掌握最小二乘法進行參數估計基本原理；
-
針對特定應用場景及數據，能構建感知器模型並進行預測。
二、實驗內容
-
安裝Pycharm，注冊學生版。
-
安裝常見的機器學習庫，如Scipy、Numpy、Pandas、Matplotlib，sklearn等。
-
編程實現感知器算法。
-
熟悉iris數據集，並能使用感知器算法對該數據集構建模型並應用。
三、實驗報告要求
1.按實驗內容撰寫實驗過程；
2.報告中涉及到的代碼，每一行需要有詳細的注釋；
3.按自己的理解重新組織，禁止粘貼復制實驗內容！
四、實驗過程
1、感知機介紹及算法
感知機(perceptron)是二類分類的線性分類模型，其輸入為實例的特征向量，輸出為實例的類別。
二分類模型:𝑓(𝑥) = 𝑠𝑖𝑔𝑛(𝑤 ∗ 𝑥 + 𝑏)
損失函數:𝐿(𝑤, 𝑏) = −Σ𝑦 i(𝑤 ∗ + 𝑏)
算法:
隨即梯度下降法 Stochastic Gradient Descent
隨機抽取一個誤分類點使其梯度下降。
𝑤 = 𝑤 + 𝜂𝑦𝑖𝑥𝑖
𝑏 = 𝑏 + 𝜂𝑦𝑖
當實例點被誤分類，即位於分離超平面的錯誤側，則調整w, b的值，使分離超平面向該無分類點的一側移動，直
至誤分類點被正確分類
拿出iris數據集中兩個分類的數據和[sepal length，sepal width]作為特征
2、代碼運行和步驟
(1)代碼
import pandas as pd #給引入的包pandas定義一個別名pd
import numpy as np #給引入的包numpy定義一個別名np,上兩步是Dataframe創建二維數組
from sklearn.datasets import load_iris #從sklearn包中的datasets類中引入load_iris方法
import matplotlib.pyplot as plt #給包matplotlib.pyplot定義一個plt別名
%matplotlib inline #使用%matplotlib命令可以將matplotlib的圖表直接嵌入到Notebook之中，inline表示將圖表嵌入到Notebook中。
# load data 下載數據
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names) #是一個表格
df['label'] = iris.target # 表頭字段就是key
df.plot(figsize = (12, 8)) # 利用dataframe做簡單的可視化分析
結果：
(2)代碼
df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label'] #重命名各個列的名稱
df.label.value_counts() #返回數據中其中每個標簽取值的個數
結果：
(3)代碼
plt.scatter(df[:50]['sepal length'], df[:50]['sepal width'], label='0') #將數據的前50個數據繪制散點圖，令其標簽為0
plt.scatter(df[50:100]['sepal length'], df[50:100]['sepal width'], label='1') #將數據的50到100個數據繪制散點圖，令其標簽為1，這里只選取了0,1兩個特征
plt.xlabel('sepal length') #將散點圖的x軸命名為sepal length
plt.ylabel('sepal width') #將散點圖的y軸命名為sepal width
plt.legend() #顯示圖例的位置，自適應方式
結果：
(4)代碼
data = np.array(df.iloc[:100, [0, 1, -1]])# 取前100條數據，為了方便展示，取2個特征
X, y = data[:,:-1], data[:,-1] # 數據類型轉換，為了后面的數學計算
y = np.array([1 if i == 1 else -1 for i in y])
# 數據線性可分，二分類數據
# 此處為一元一次線性方程
class Model:
def __init__(self):
self.w = np.ones(len(data[0])-1, dtype=np.float32)
self.b = 0 #初始w/b的值
self.l_rate = 0.1
# self.data = data
def sign(self, x, w, b):
y = np.dot(x, w) + b #求w，b的值
#Numpy中dot()函數主要功能有兩個：向量點積和矩陣乘法。
#格式：x.dot(y) 等價於 np.dot(x,y) ———x是m*n 矩陣 ，y是n*m矩陣，則x.dot(y) 得到m*m矩陣
return y
# 隨機梯度下降法
#隨機梯度下降法（SGD），隨機抽取一個誤分類點使其梯度下降。根據損失函數的梯度，對w，b進行更新
def fit(self, X_train, y_train): #將參數擬合 X_train數據集矩陣 y_train特征向量
is_wrong = False
#誤分類點的意思就是開始的時候，超平面並沒有正確划分，做了錯誤分類的數據。
while not is_wrong:
wrong_count = 0 #誤分為0，就不用循環，得到w，b
for d in range(len(X_train)):
X = X_train[d]
y = y_train[d]
if y * self.sign(X, self.w, self.b) <= 0:
# 如果某個樣本出現分類錯誤，即位於分離超平面的錯誤側，則調整參數，使分離超平面開始移動，直至誤分類點被正確分類。
self.w = self.w + self.l_rate*np.dot(y, X) #調整w和b
self.b = self.b + self.l_rate*y
wrong_count += 1
if wrong_count == 0:
is_wrong = True
return 'Perceptron Model!'
#線性可分可用隨機梯度下降法
def score(self):
pass
perceptron = Model()
perceptron.fit(X, y)
結果：
(5)代碼
x_points = np.linspace(4, 7,10) #在4到7的閉區間，划分為10個數據點
y_ = -(perceptron.w[0]*x_points + perceptron.b)/perceptron.w[1] #繪制超平面
plt.plot(x_points, y_)
plt.plot(data[:50, 0], data[:50, 1], 'bo', color='blue', label='0') #將前50個數據繪制成散點圖
plt.plot(data[50:100, 0], data[50:100, 1], 'bo', color='orange', label='1') # 將50到100之間的數據繪制成散點圖
plt.xlabel('sepal length') #散點圖橫坐標為sepal length
plt.ylabel('sepal width') #散點圖縱坐標為sepal length
plt.legend()
結果：
(6)代碼
#定義感知機
from sklearn.linear_model import Perceptron
#使用訓練數據進行訓練
clf = Perceptron(fit_intercept=False, max_iter=1000, shuffle=False)
#得到訓練結果，權重矩陣
clf.fit(X,y)
結果：
(7)代碼
# Weights assigned to the features.輸出特征權重矩陣
print(clf.coef_)
結果：
(8)代碼
# 超平面的截距 Constants in decision function.
print(clf.intercept_)
結果：
(9)代碼
x_ponits = np.arange(4, 8) #默認步長為1 輸出[4 5 6 7 8]
y_ = -(clf.coef_[0][0]*x_ponits + clf.intercept_)/clf.coef_[0][1] #繪制超平面
plt.plot(x_ponits, y_)
plt.plot(data[:50, 0], data[:50, 1], 'bo', color='blue', label='0') #將前50個數據繪制成散點圖
plt.plot(data[50:100, 0], data[50:100, 1], 'bo', color='orange', label='1') # 將50到100之間的數據繪制成散點圖
plt.xlabel('sepal length') #散點圖橫坐標為sepal length
plt.ylabel('sepal width') #散點圖縱坐標為sepal length
plt.legend()
結果：
五、實驗小結
通過這次實驗，我理解感知器算法原理，能實現感知器算法，掌握機器學習算法的度量指標，掌握最小二乘法進行參數估計基本原理，針對特定應用場景及數據，能構建感知器模型並進行預測。感知機是線性分類的二分類模型，輸入為實例的特征向量，輸出為實例的類別，分別用 1 和 -1 表示。感知機將輸入空間(特征空間)中的實例划分為正負兩類分離的超平面，旨在求出將訓練集進行線性划分的超平面，為此，導入基於誤分類的損失函數，利用梯度下降法對損失函數進行極小化，求得最優解。