Softmax函數原理及Python實現

Softmax原理

---

Softmax函數用於將分類結果歸一化，形成一個概率分布。作用類似於二分類中的Sigmoid函數。

對於一個k維向量z，我們想把這個結果轉換為一個k個類別的概率分布p(z)。softmax可以用於實現上述結果，具體計算公式為：

\[softmax(x_i) = \frac{exp(x_i)}{\sum_j exp(x_j)} \]

對於k維向量z來說，其中\(z_i \in R\)，我們使用指數函數變換可以將元素的取值范圍變換到\((0, +\infin)\),之后我們再所有元素求和將結果縮放到[0,1],形成概率分布。

常見的其他歸一化方法，如max-min、z-score方法並不能保證各個元素為正，且和為1。

Softmax性質

---

輸入向量x加上一個常數c后求softmax結算結果不變，即:

\[softmax(x) = softmax(x+c) \]

我們使用softmax(x)的第i個元素的計算來進行證明：

\[softmax(x_i+c) = \frac{exp(x_i+c)}{\sum_jexp(x_j+c)} \\= \frac{exp(x_i) * exp(c)}{\sum_j[exp(x_j) * exp(c)]} \\=\frac{exp(x_i) * exp(c)}{exp(c) * sum_j exp(x_j)} \\=\frac{exp(x_i)}{\sum_jexp(x_j)} \\= softmax(x_i) \]

函數實現

---

由於指數函數的放大作用過於明顯，如果直接使用softmax計算公式\(softmax(x_i) = \frac{exp(x_i)}{\sum_j exp(x_j)}\)進行函數實現，容易導致數據溢出(上溢)。所以我們在函數實現時利用其性質：先對輸入數據進行處理，之后再利用計算公式計算。具體使得實現步驟為：

1. 查找每個向量x的最大值c；
2. 每個向量減去其最大值c, 得到向量y = x-c;
3. 利用公式進行計算,softmax(x) = softmax(x-c) = softmax(y)

代碼如下：

import numpy as np

def softmax(x):
    """
    softmax函數實現
    
    參數：
    x --- 一個二維矩陣, m * n,其中m表示向量個數，n表示向量維度
    
    返回：
    softmax計算結果
    """
    assert(len(X.shape) == 2)
    row_max = np.max(X, axis=axis).reshape(-1, 1)
    X -= row_max
    X_exp = np.exp(X)
    s = X_exp / np.sum(X_exp, axis=axis, keepdims=True)

    return s

測試一下：

a = [[1,2,3],[-1,-2,-3]]
b = [[1,2,3]]
c = [1,2,3]
a = np.array(a)
b = np.array(b)
c = np.array(c)

print(softmax(a))
print(softmax(b))
print(softmax(c)) # error

輸出結果為：

[[ 0.09003057  0.24472847  0.66524096]
 [ 0.66524096  0.24472847  0.09003057]]
[[ 0.09003057  0.24472847  0.66524096]]
Traceback (most recent call last):
    assert(len(X.shape) == 2)
AssertionError