菜鳥之路——機器學習之非線性回歸個人理解及python實現

關鍵詞：

梯度下降：就是讓數據順着梯度最大的方向，也就是函數導數最大的放下下降，使其快速的接近結果。

Cost函數等公式太長，不在這打了。網上多得是。

這個非線性回歸說白了就是縮小版的神經網絡。

python實現：

import numpy as np
import random

def graientDescent(x,y,theta,alpha,m,numIterations):#梯度下降算法
    xTrain =x.transpose()
    for i in range(0,numIterations):#重復多少次
        hypothesis=np.dot(x,theta)          #h函數
        loss=hypothesis-y

        cost=np.sum(loss**2) / (2*m)
        print("Iteration %d / cost:%f"%(i,cost))
        graient=np.dot(xTrain,loss)/m
        theta=theta-alpha*graient
    return theta

def getData(numPoints,bias,variance):#自己生成待處理數據
    x=np.zeros(shape=(numPoints,2))
    y=np.zeros(shape=numPoints)
    for i in range(0,numPoints):
        x[i][0]=1
        x[i][1] = i
        y[i]=(i+bias)+random.uniform(0,1)*variance
    return x,y

X,Y=getData(100,25,10)
print("X:",X)
print("Y:",Y)

numIterations=100000
alpha=0.0005
theta=np.ones(X.shape[1])
theta=graientDescent(X,Y,theta,alpha,X.shape[0],numIterations)
print(theta)

運行結果：

......輸出數據太多，只截取后面十幾行

Iteration 99988 / cost:3.930135
Iteration 99989 / cost:3.930135
Iteration 99990 / cost:3.930135
Iteration 99991 / cost:3.930135
Iteration 99992 / cost:3.930135
Iteration 99993 / cost:3.930135
Iteration 99994 / cost:3.930135
Iteration 99995 / cost:3.930135
Iteration 99996 / cost:3.930135
Iteration 99997 / cost:3.930135
Iteration 99998 / cost:3.930135
Iteration 99999 / cost:3.930135
[30.54541676 0.99982553]

 

其中遇到一個錯誤。

TypeError: unsupported operand type(s) for *: 'builtin_function_or_method' and 'float'

因為我第五行xTrain =x.transpose()。剛開始沒加括號。直接用的xTrain =x.transpose

打印一下xTrain是

<built-in method transpose of numpy.ndarray object at 0x00000219C1D14850>

只是創建了一個transpose方法，並沒有真的給x轉置。加上括號就好了。再打印xTrain就能正常顯示轉置后的x了