編程實現線性判別分析，並給出西瓜數據集3.0α上的運行結果

1.題目理解

 

將西瓜數據集的樣例投影到一條直線上，使得好瓜、壞瓜各自的投影點盡可能接近，好瓜與壞瓜之間的投影點盡可能遠離。

 

2.算法原理

 

 

3.算法設計

 

①  根據LDA原理求解得到w，結合數據集得到LDA直線；

 

②  將每個樣本映射到LDA直線上，觀察分析結果。

 

4.關鍵代碼

 

# 加載數據集
dataset = np.loadtxt('C:/Users/86185/PycharmProjects/ML1/watermelon_3a.csv', delimiter=",")

# 分離屬性值和標簽
X = dataset[:,1:3]
y = dataset[:,3]
u = []
for i in range(2):
    u.append(np.mean(X[y==i],axis=0))

m,n = np.shape(X)
Sw = np.zeros((n,n))
for i in range(m):
    x_temp = X[i].reshape(n, 1)     # 行向量變為列向量
    if y[i]==0: u_temp = u[0].reshape(n, 1)
    if y[i]==1: u_temp = u[1].reshape(n, 1)
    Sw +=np.dot(x_temp-u_temp, (x_temp-u_temp).T)

Sw = np.mat(Sw)
# print(Sw)
Sw_inv = np.linalg.inv (Sw)
# print(Sw_inv)
w = np.dot(Sw_inv, (u[0]-u[1]).reshape(n,1))
print(w)

 

先根據公式求得w

def GetPoint(point0, w):
    k0 = w[1, 0]/w[0, 0]
    k1 = w[0, 0]/w[1, 0]
    x0 = point0[0]
    y0 = point0[1]
    x1 = (k0 * x0 - y0) / (k0 + k1)
    y1 = -k1 * x1
    return x0, x1, y0, y1

f1 = plt.figure('first')
plt.xlim( -0.2, 1 )         # 設定坐標軸的范圍
plt.ylim( -0.2, 0.6 )


x = np.arange(-1, 3)
yy = -(w[0,0]/w[1,0])*x

做LDA直線yy；GetPoint（）函數用來計算點到直線yy的投影

 

5.結果展示

根據運行結果顯示，沒有很明確的將好瓜與壞瓜區分開來，好瓜與壞瓜的投影點不夠遠離，壞瓜與壞瓜之間的投影點不夠聚集。