softmax使用的，通過softmax操作得到每個類別的概率值，然后計算loss。 softmax函數為 ...

　　 　　前面的文章已經介紹過了2種經典的機器學習算法：線性回歸和logistic回歸，並且在后面的練習中也能夠感覺到這2種方法在一些問題的求解中能夠取得很好的效果。現在開始來看看另一種機器學習算法 ...

　　前言: 　　最近打算稍微系統的學習下deep learing的一些理論知識，打算采用Andrew Ng的網頁教程UFLDL Tutorial，據說這個教程寫得淺顯易懂，也不太長。不過在這這之前還是復習下machine learning的基礎知識，見網頁：http ...

Stochastic Gradient Descent (SGD) SGD的參數 在使用隨機梯度下降（SGD）的學習方法時，一般來說有以下幾個可供調節的參數: Learning Rate 學習率 Weight Decay 權值衰減 Momentum 動量 Learning ...

在機器學習三步走中，其中最重要的就是第二步找到用於衡量模型好壞的方法，也就是損失函數，通過求解最小化損失，從而求得模型的參數。前面分別對線性回歸、LR以及實戰部分的SVM、決策樹以及集成學習算法進行了概述，其中都用到了不同的損失函數，今天在這里對機器學習中常見的損失函數進行一個總結。 常見 ...

損失函數（loss function）是用來估量你模型的預測值f(x)與真實值Y的不一致程度，衡量模型預測的好壞。它是一個非負實值函數,通常使用L(Y, f(x))來表示，損失函數越小，模型的魯棒性就越好。 損失函數是經驗風險函數的核心部分，也是結構風險函數重要組成部分。模型的結構風險函數包括 ...

　　損失函數分為經驗風險損失函數和結構風險損失函數。經驗風險損失函數指預測結果和實際結果的差別，結構風險損失函數是指經驗風險損失函數加上正則項。通常表示為如下：（整個式子表示的意思是找到使目標函數最小時的θ">θ值。） $$\lambda = \frac{1}{C ...

1. 前言 在機器學習中，不同的問題對應了不同的損失函數，不同的損失函數也直接會影響到收斂的快慢和結果的好壞，下面就從不同的損失函數的角度進行一下梳理。 2. 0-1損失函數 0-1損失是指，預測值和目標值不相等為1，否則為0 3. log對數損失函數 邏輯回歸的損失函數就是對數損失函數 ...