CReLU激活函數

轉載自CSDN, CReLU激活函數 CReLU 一種改進 ReLU 激活函數的文章，來自ICML2016. 1. 背景介紹 整個文章的出發點來自於下圖的統計現象：  為了看懂上圖。 （1）首先介紹一下余弦相似度(cos距離)的概念  cos距離的取值范圍 ...