【PyTorch基礎】PReLU

api:

CLASS torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None)

注意參數和ReLU不一樣的；

原理：

PReLU(x)=max(0,x)+a∗min(0,x)

​其中，a是一個學習參數，默認a是對所有通道的，如果參數有通道數，則不同的a是對應不同通道的；

 

參考

1. PReLU_pytorch;

2. 

完