小白系列2——nn.ReLU與nn.LeakyReLU的區別

nn.ReLU與nn.LeakyReLU的區別

因為之前從未接觸過這方面，直接接手GAN，有點吃力，如有明顯漏洞，請指正，我會感激不盡。

昨晚查閱了ReLU的含義，結果今天發現高老師給的代碼中又有一個LeakyReLU，所以今天這個小白貼來對比下兩者：

下圖是ReLU、Leaky ReLU、PReLU和RReLU的比較：

ReLU是將所有的負值都設為零，相反，Leaky ReLU是給所有負值賦予一個非零斜率。

可以看到，ReLU函數即小於0的就等於0,大於0的就等於原函數.=max(0,x)=

LeakyReLu的函數為

參考鏈接：https://blog.csdn.net/aizhouqian5537/article/details/101684418?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

https://blog.csdn.net/u011630472/article/details/90210041https://blog.csdn.net/u011630472/article/details/90210041