CReLU激活函数

转载自CSDN, CReLU激活函数 CReLU 一种改进 ReLU 激活函数的文章，来自ICML2016. 1. 背景介绍 整个文章的出发点来自于下图的统计现象：  为了看懂上图。 （1）首先介绍一下余弦相似度(cos距离)的概念  cos距离的取值范围 ...