PyTorch 實現異或XOR運算

1. 異或運算

 

 2. 實現

# 利用Pytorch解決XOR問題
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import numpy as np

data = np.array([[1, 0, 1], [0, 1, 1],
                 [1, 1, 0], [0, 0, 0]], dtype='float32')
x = data[:, :2]
y = data[:, 2]


# 初始化權重變量
def weight_init_normal(m):
    classname = m.__class__.__name__ #是獲取類名，得到的結果classname是一個字符串
    if classname.find('Linear') != -1:  #判斷這個類名中，是否包含"Linear"這個字符串，字符串的find()方法，檢索這個字符串中是否包含另一個字符串
        m.weight.data.normal_(0.0, 1.)
        m.bias.data.fill_(0.)


class XOR(nn.Module):
    def __init__(self):
        super(XOR, self).__init__()
        self.fc1 = nn.Linear(2, 3)   # 隱藏層 3個神經元
        self.fc2 = nn.Linear(3, 4)   # 隱藏層 4個神經元
        self.fc3 = nn.Linear(4, 1)   # 輸出層 1個神經元

    def forward(self, x):
        h1 = F.sigmoid(self.fc1(x))  # 之前也嘗試過用ReLU作為激活函數, 太容易死亡ReLU了.
        h2 = F.sigmoid(self.fc2(h1))
        h3 = F.sigmoid(self.fc3(h2))
        return h3


net = XOR()
net.apply(weight_init_normal) #相當於net.weight_init_normal()
 #apply方式的調用是遞歸的，即net這個類和其子類(如果有)，挨個調用一次weight_init_normal()方法。
x = torch.Tensor(x.reshape(-1, 2))
y = torch.Tensor(y.reshape(-1, 1))

# 定義loss function
criterion = nn.BCELoss()  # MSE
# 定義優化器
optimizer = optim.SGD(net.parameters(), lr=0.1, momentum=0.9)  # SGD
# 訓練
for epoch in range(500):
    optimizer.zero_grad()   # 清零梯度緩存區
    out = net(x)
    loss = criterion(out, y)
    print(loss)
    loss.backward()
    optimizer.step()  # 更新

# 測試
test = net(x)
print("input is {}".format(x.detach().numpy()))
print('out is {}'.format(test.detach().numpy()))

來源：(1條消息) PyTorch——解決異或問題XOR_我是大黃同學呀的博客-CSDN博客_pytorch 異或

稍微改了一下網絡結構，添加少量注釋，理解第16-17,37行。

結構如下：

 

 A Neural Network Playground (tensorflow.org)