KL散度-相對熵

參考

在pytorch中計算KLDiv loss

注意reduction='batchmean'，不然loss不僅會在batch維度上取平均，還會在概率分布的維度上取平均。具體見官方文檔

x = torch.tensor([[0.1, 0.4, 0.5]])
y = torch.tensor([[0.4, 0.2, 0.4]])

# x去擬合y的分布
kl_xy = nn.KLDivLoss(reduction='batchmean')(torch.log(x), y)
# 0.3266

# y去擬合x的分布
kl_yx = nn.KLDivLoss(reduction='batchmean')(torch.log(y), x)
# 0.2502