一、激活函数 1.什么是激活函数 激活函数: 就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 2.为什么要有激活函数 如果不用激活函数，每一层的输出都是上一层 ...

　　分类问题的评价指标是准确率，那么回归算法的评价指标就是MSE，RMSE，MAE、R-Squared。 　　MSE和MAE适用于误差相对明显的时候，大的误差也有比较高的权重，RMSE ...

一、无约束优化 对于无约束的优化问题，直接令梯度等于0求解。 如果一个函数$f$是凸函数，那么可以直接通过$f(x)$的梯度等于0来求得全局极小值点。 二、有约束优化 ...

1.余弦距离 适用场景：余弦相似度衡量的是维度间取值方向的一致性，注重维度之间的差异，不注重数值上的差异。 举例：如某T恤从100块降到了50块（A(100,50)），某西装从1000块降到了50 ...

0范数：向量中非零元素的个数。 1范数：为绝对值之和。1范数和0范数可以实现稀疏，1因具有比L0更好的优化求解特性而被广泛应用。 2范数：就是通常意义上的模，L2范数是指向量各元素的平方 ...

以二元函数为例，$f(x,y)$，对于任意单位方向$u$，假设$u$是$x$轴的夹角，那么函数$f(x,y)$在$u$这个方向上的变化率为： $f_x(x,y) \cos \alpha + f_y ...

　　AUC(Area under Curve)：Roc曲线下的面积，介于0.1和1之间。Auc作为数值可以直观的评价分类器的好坏，值越大越好。 　　首先AUC值是一个概率值，当你随机挑选一个正样本以 ...

一、AIC（Akaike information Criterion）准则 二、BIC（Bayesian information Criterion）准则 参考文献： ...

PLA可以解决线性分类问题，那非线性问题怎么解决？ 1、手动非线性转换 2、核方法 3、神经网络 无须手动设计非线性转换，能够让模型仔细学习 ...

　 　　　　　　梯度的方向　　　　　　 梯度：如果函数是一维的变量，则梯度就是导数的方向；如果是大于一维的，梯度就是在这个点的法向量，并指向数值更高的等值线。比如函数f(x,y), 分别对x,y求 ...