這一篇sigmoid和softmax的比較,講的不錯


文章:

http://blog.csdn.net/u014422406/article/details/52805924

 

sigmoid函數(也叫邏輯斯諦函數): 
 引用wiki百科的定義:

  A logistic function or logistic curve is a common “S” shape (sigmoid curve).

  其實邏輯斯諦函數也就是經常說的sigmoid函數,它的幾何形狀也就是一條sigmoid曲線。

這里寫圖片描述

  logistic曲線如下: 
  這里寫圖片描述

同樣,我們貼一下wiki百科對softmax函數的定義:

softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.

  這句話既表明了softmax函數與logistic函數的關系,也同時闡述了softmax函數的本質就是將一個K 
維的任意實數向量壓縮(映射)成另一個K

維的實數向量,其中向量中的每個元素取值都介於(0,1)之間。

  softmax函數形式如下: 
  這里寫圖片描述

總結:sigmoid將一個real value映射到(0,1)的區間(當然也可以是(-1,1)),這樣可以用來做二分類。 
而softmax把一個k維的real value向量(a1,a2,a3,a4….)映射成一個(b1,b2,b3,b4….)其中bi是一個0-1的常數,然后可以根據bi的大小來進行多分類的任務,如取權重最大的一維。 
  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM