nn.Linear()
PyTorch的 nn.Linear() 是用于设置网络中的全连接层的，需要注意在二维图像处理的任务中，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：
torch.nn.Linear(in_features, out_features, bias=True, device=None, dtype=None)
即 $y=x A^{T}+b$
Parameters
-
- in_features – size of each input sample
- out_features – size of each output sample
- bias – If set to False, the layer will not learn an additive bias. Default: True
in_features 指的是输入的二维张量的大小，即输入的 [batch_size, size] 中的 size 。
out_features 指的是输出的二维张量的大小，即输出的二维张量的形状为 [ batch_size，output_size]，当然，它也代表了该全连接层的神经元个数。
从输入输出的张量的 shape 角度来理解，相当于一个输入为 [batch_size, in_features] 的张量变换成了 [batch_size, out_features] 的输出张量。
Variables
-
- weight ：weight.shape = (out_features,in_features)
- bias ： bias.shape = (out_features)
Example
x = torch.arange(6).view(-1,2).type(torch.float32) print(x) m = nn.Linear(2,3) print(m) print(m.weight.shape) print(m.bias.shape) print(m(x))
tensor([[0., 1.], [2., 3.], [4., 5.]]) Linear(in_features=2, out_features=3, bias=True) torch.Size([3, 2]) torch.Size([3]) tensor([[-0.0630, 0.8754, 1.0031], [ 1.3898, 2.9152, 1.2959], [ 2.8425, 4.9551, 1.5887]], grad_fn=<AddmmBackward0>)
Example
model = nn.Sequential( nn.Linear(2,3) ) print(model) for param in model.state_dict(): print(param) print(model.state_dict()[param])
Sequential( (0): Linear(in_features=2, out_features=3, bias=True) ) 0.weight tensor([[ 0.1144, 0.2086], [-0.6700, -0.3607], [-0.1835, 0.4866]]) 0.bias tensor([ 0.4158, -0.5482, 0.2358])