softmax使用的，通过softmax操作得到每个类别的概率值，然后计算loss。 softmax函数为 ...

　　 　　前面的文章已经介绍过了2种经典的机器学习算法：线性回归和logistic回归，并且在后面的练习中也能够感觉到这2种方法在一些问题的求解中能够取得很好的效果。现在开始来看看另一种机器学习算法 ...

　　前言: 　　最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。不过在这这之前还是复习下machine learning的基础知识，见网页：http ...

Stochastic Gradient Descent (SGD) SGD的参数 在使用随机梯度下降（SGD）的学习方法时，一般来说有以下几个可供调节的参数: Learning Rate 学习率 Weight Decay 权值衰减 Momentum 动量 Learning ...

在机器学习三步走中，其中最重要的就是第二步找到用于衡量模型好坏的方法，也就是损失函数，通过求解最小化损失，从而求得模型的参数。前面分别对线性回归、LR以及实战部分的SVM、决策树以及集成学习算法进行了概述，其中都用到了不同的损失函数，今天在这里对机器学习中常见的损失函数进行一个总结。 常见 ...

损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，衡量模型预测的好坏。它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。 损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括 ...

　　损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。通常表示为如下：（整个式子表示的意思是找到使目标函数最小时的θ">θ值。） $$\lambda = \frac{1}{C ...

1. 前言 在机器学习中，不同的问题对应了不同的损失函数，不同的损失函数也直接会影响到收敛的快慢和结果的好坏，下面就从不同的损失函数的角度进行一下梳理。 2. 0-1损失函数 0-1损失是指，预测值和目标值不相等为1，否则为0 3. log对数损失函数 逻辑回归的损失函数就是对数损失函数 ...