pytorch自定義loss函數的幾種方法

1. 讓張量使用Variable類型，如下所示

from torch.autograd import Variable

inp = torch.zeros(2, 3)
inp = Variable(inp).type(torch.LongTensor)
print(inp)

Variable類型包裝了Tensor類型，並提供了backward()接口

使用Variable類型的好處是，可以按照論文公式來直接使用，並在做張量運算之后，使用繼承的backward()直接進行反向傳播

2. 自定義類繼承nn.Module

class CustomMSELoss(nn.Module):
    def __init__(self):
        super().__init__()
        
    def forward(self, x, y):
        return torch.mean(torch.pow((x - y), 2))

這種方法結構化程度高，在開發給用戶使用時，由於不知道用戶的Tensor是否是Variable類型，采用該方法可以減少問題。