tensorflow 邏輯回歸之解決欠擬合問題（一）

本篇主要總結1.二分類邏輯回歸簡單介紹 ， 2.算法的實現  3.對欠擬合問題的解決方法及實現（第二部分）

1.邏輯回歸

 邏輯回歸主要用於非線性分類問題。具體思路是首先對特征向量進行權重分配之后用 sigmoid 函數激活。如下公式(1)(2) :

h > 0.5時，分類為1。h < 0.5時分類為0。

損失函數：如下公式(3)：

梯度下降公式如下公式（4）（推導過程略）：

 

 

2.tensorflow 實現，代碼如下：

# coding:utf-8
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

data=[]
label=[]
np.random.seed(0)
 
##隨機產生訓練集
for i in range(500):
    x1=np.random.uniform(-1,1)
    x2=np.random.uniform(0,2)
    if x1**2+ x2**2<=1:
        data.append([np.random.normal(x1,0.1),np.random.normal(x2,0.1)])
        label.append(0)
    else:
        data.append([np.random.normal(x1,0.1),np.random.normal(x2,0.1)])
        label.append(1)

data=np.hstack(data).reshape(-1,2)
label=np.hstack(label).reshape(-1,1)
plt.scatter(data[ :,0], data[ :, 1], c=np.squeeze(label), cmap="RdBu", vmin=-.2, vmax=1.2, edgecolor="white")
plt.show()
#定義訓練集測試集
num_trian = int(0.7*len(data))
train_data = data[:num_trian,:]
train_label = label[:num_trian,:]
test_data = data[num_trian:,:]
test_label = label[num_trian:,:]

#定義參數
learningrate = 0.05
num_epotchs = 50000
w = tf.Variable(tf.random_normal([2,1], mean = 0.0, stddev = 1.0), name="w", trainable=True)
b = tf.Variable(tf.random_normal([1],  mean = 0.0, stddev = 1.0), name = 'b', trainable = True)

#構造輸入輸出門
x=tf.placeholder(tf.float32,shape=(None,2))
y=tf.placeholder(tf.float32,shape=(None,1))
sample_size=len(data)
#邏輯回歸模型
y_logistic = tf.sigmoid(tf.add(tf.matmul(x,w),b))
cost = tf.reduce_mean(-y*(tf.log(y_logistic))-(1-y)*(tf.log(1-y_logistic)))
train_op = tf.train.GradientDescentOptimizer(learningrate).minimize(cost)

error = []
initial = tf.global_variables_initializer()
with tf.Session() as sess:
    #初始化全局變量
    sess.run(initial)
    #開始訓練
    for epotch in range(num_epotchs):
        err,_ = sess.run([cost,train_op],feed_dict = {x : train_data, y :train_label})
        if epotch % 500 == 0:
            print('after %d steps ,error is %.3f'%(epotch,err))
            error.append(err)    
    
    xx,yy= np.mgrid[-1.2:1.2:.01,-0.2:2.2:.01]
    #合並兩個數組
    grid=np.c_[xx.ravel(),yy.ravel()]
    probs=sess.run(y_logistic,feed_dict={x:grid})
plt.plot(error, label = "cost")
plt.legend()
plt.show()
probs=probs.reshape(xx.shape)
#可視化檢驗數據集
plt.scatter(test_data[ :,0], test_data[ :, 1], c=np.squeeze(test_label), cmap="RdBu", vmin=-.2, vmax=1.2, edgecolor="white")
#用h = 0.5等高線畫出分類邊界，查看分類效果
plt.contour(xx,yy,probs,levels=[.5],cmap="Greys",vmin=0,vmax=.1)
plt.show()

 

實現之后，結果如下圖（1）。可以看到，分類結果不是很理想，沒有很好地做到非線性擬合。這里面涉及到特征維度不足的問題。在第二部分中講解解決方法。

                                                                                          圖1

 

 

轉載請注明出處