pytorch處理模型過擬合

演示代碼如下

import torch
from torch.autograd import Variable
import torch.nn.functional as F
import matplotlib.pyplot as plt
# make fake data
n_data = torch.ones(100, 2)
x0 = torch.normal(2*n_data, 1)      #每個元素（x,y）是從 均值=2*n_data中對應位置的取值，標准差為1的正態分布中隨機生成的
y0 = torch.zeros(100)               # 給每個元素一個0標簽
x1 = torch.normal(-2*n_data, 1)     # 每個元素（x,y）是從 均值=-2*n_data中對應位置的取值，標准差為1的正態分布中隨機生成的
y1 = torch.ones(100)                # 給每個元素一個1標簽
x = torch.cat((x0, x1), 0).type(torch.FloatTensor)  # shape (200, 2) FloatTensor = 32-bit floating
y = torch.cat((y0, y1), ).type(torch.LongTensor)    # shape (200,) LongTensor = 64-bit integer
# torch can only train on Variable, so convert them to Variable
x, y = Variable(x), Variable(y)

# draw the data
plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=y.data.numpy())#c是一個顏色序列


#plt.show()
#神經網絡模塊
net2 = torch.nn.Sequential(
    torch.nn.Linear(2,10),
    torch.nn.Dropout(0.2),#處理過擬合，當然這個模型本身很簡單，不需要處理過擬合，這個只是一個演示
    torch.nn.ReLU(),
    torch.nn.Linear(10,2)
)

plt.ion()#在Plt.ion和plt.ioff之間的代碼,交互繪圖
plt.show()
#神經網絡優化器，主要是為了優化我們的神經網絡，使他在我們的訓練過程中快起來，節省社交網絡訓練的時間。
optimizer = torch.optim.SGD(net2.parameters(),lr = 0.01)#其實就是神經網絡的反向傳播，第一個參數是更新權重等參數，第二個對應的是學習率
loss_func = torch.nn.CrossEntropyLoss()#標簽誤差代價函數

for t in range(50):
    out = net2(x)
    loss = loss_func(out,y)#計算損失
    optimizer.zero_grad()#梯度置零
    loss.backward()#反向傳播
    optimizer.step()#計算結點梯度並優化，
    if t % 2 == 0:
        net2.eval()#模型做預測的時候不需要dropout,切換為eval()模式
        plt.cla()# Clear axis即清除當前圖形中的之前的軌跡
        prediction = torch.max(F.softmax(out), 1)[1]#轉換為概率，后面的一是最大值索引，如果為0則返回最大值
        pred_y = prediction.data.numpy().squeeze()
        target_y = y.data.numpy()
        plt.scatter(x.data.numpy()[:, 0], x.data.numpy()[:, 1], c=pred_y, s=100, lw=0, cmap='RdYlGn')
        accuracy = sum(pred_y == target_y) / 200.#求准確率
        plt.text(1.5, -4, 'Accuracy=%.2f' % accuracy, fontdict={'size': 20, 'color': 'red'})
        plt.pause(0.1)
        net2.train()#切花為訓練模式

plt.ioff()
plt.show()

注意model.eval和model.train的使用