機器學習之線性回歸（單一變量）代碼實現（python代碼實現）

一、本案例主要利用python代碼解決“采用實現線性回歸（單一變量）來預測一輛食品卡車的利潤的問題”，代碼中涉及到機器學習中的線性回歸理論知識，本文不着重介紹（詳細可參考吳恩達的《機器學習》），主要介紹其代碼實現過程(源代碼參考吳恩達的《機器學習》的課后作業)，也可參考我寫的matlab代碼實現編寫的文檔。

二、實驗結果如圖所示：

1)訓練集的數據分布圖：

2）線性回歸圖

3）批量梯度下降函數計算代價成本值：

三、實現代碼如下：ex1.py

# -*- coding: utf-8 -*-
"""
機器學習之單一變量線性回歸
"""
#導入相關庫
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
#設置字體的更多屬性
font={
      'family':'SimHei',
      'weight':'bold',
      'size' : '16'     
      }
plt.rc('font',**font)
#解決坐標軸負軸的符號顯示的問題
plt.rc('axes',unicode_minus=False)
#損耗函數算法代碼，theta.T轉置，矩陣計算
def computeCost(X,y,theta):
    
    m=len(y)
    inner = np.power(((X * theta.T) - y), 2)   
    return np.sum(inner) / (2 * m)
#批量梯度下降算法
# 該函數通過執行梯度下降算法次數來更新theta值，每次迭代次數跟學習率有關
#   函數參數說明:
#   X :代表特征/輸入變量
#   y:代表目標變量/輸出變量
#   theta：線性回歸模型的兩個系數值（h(x)=theta(1)+theta(2)*x）
#   alpha：學習率
#   iters：迭代次數
def gradientDescent(X, y, theta, alpha, iters):
    temp = np.matrix(np.zeros(theta.shape))
    parameters = int(theta.ravel().shape[1])
    cost = np.zeros(iters)
    
    for i in range(iters):
        error = (X * theta.T) - y
        
        for j in range(parameters):
            term = np.multiply(error, X[:,j])
            temp[0,j] = theta[0,j] - ((alpha / len(X)) * np.sum(term))
            
        theta = temp
        cost[i] = computeCost(X, y, theta)
        
    return theta, cost  
if __name__ == '__main__':  
#讀取訓練數據集中的數據
#%文件ex1data1.txt包含了我們的線性回歸問題的數據集。
#第一列是城市的人口（單位100000），第二列是城市里的一輛食品卡車的利潤。
#利潤的負值表示損失
    train_data=pd.read_csv('ex1data1.txt',names=['Population','Profit'])

#將訓練集中的數據在圖中顯示
    train_data.plot(kind='scatter', x='Population', y='Profit', figsize=(12,8))
    plt.show()

#我們在訓練集中添加一列，以便我們可以使用向量化的解決方案來計算代價和梯度。
    train_data.insert(0,'Ones',1)
    X=train_data.iloc[:,[0,1]]#X是所有行，去掉最后一列
    y=train_data.iloc[:,2]#y是所有行，最后一列
    #代價函數是矩陣計算，所以需要將X,y,theta轉變為矩陣
    X = np.matrix(X.values)
    y = np.matrix(y.values)
    y=y.T#轉置
    theta = np.matrix(np.array([0,0]))
    print(X.shape, theta.shape, y.shape)
    #初始化一些附加變量 - 學習速率α和要執行的迭代次數。
    iters = 5000#迭代次數設置為1500次
    alpha = 0.01#學習率設置為0.01.
    computeCost(X, y, theta)
    g, cost = gradientDescent(X, y, theta, alpha, iters)#g是求出的最佳theat值，cost是所有迭代次數的代價函數求出的值
    print('求出的最佳theat值：',g)
    #將線性回歸函數畫出
    x = np.linspace(train_data.Population.min(), train_data.Population.max(), 100)
    f = g[0, 0] + (g[0, 1] * x)

    fig, ax = plt.subplots(figsize=(12,8))
    ax.plot(x, f, 'r', label='預測函數')
    ax.scatter(train_data.Population, train_data.Profit, label='訓練數據')
    ax.legend(loc=2)
    ax.set_xlabel('人口')
    ax.set_ylabel('利潤')
    ax.set_title('預測利潤和人口數量')
    plt.show()
    # 預測人口規模為3.5萬和7萬的利潤值
    predict1 = g[0,0]*1+(g[0, 1] * 3.5)
    print('當人口為35,000時,我們預測利潤為',predict1*10000);
    predict2 = g[0,0]*1+(g[0, 1] * 7)
    print('當人口為70,000時,我們預測利潤為',predict2*10000);
    #由於梯度方程式函數也在每個訓練迭代中輸出一個代價的向量，
    #所以我們也可以繪制。 請注意，代價總是降低 - 這是凸優化問題的一個例子。
    fig, ax = plt.subplots(figsize=(12,8))
    ax.plot(np.arange(iters), cost, 'r')
    ax.set_xlabel('迭代次數')
    ax.set_ylabel('輸出代價')
    ax.set_title('誤差和訓練狀態')
    plt.show()