由上述推導可以看出，在使用MSE時，w、b的梯度均與sigmoid函數對z的偏導有關系，而sigmoid函數的偏導在自變量非常大或者非常小時，偏導數的值接近於零，這將導致w、b的梯度將不會變化，也就是出現所謂的梯度消失現象。而使用cross-entropy時，w、b的梯度就不會出現上述的情況。所以MSE不適用於分類問題。
2.交叉熵不適用於回歸問題
當MSE和交叉熵同時應用到多分類場景下時，（標簽的值為1時表示屬於此分類，標簽值為0時表示不屬於此分類），MSE對於每一個輸出的結果都非常看重，而交叉熵只對正確分類的結果看重。例如：在一個三分類模型中，模型的輸出結果為（a,b,c)，而真實的輸出結果為(1,0,0)，那么MSE與cross-entropy相對應的損失函數的值如下：
MSE：
cross-entropy：
從上述的公式可以看出，交叉熵的損失函數只和分類正確的預測結果有關系，而MSE的損失函數還和錯誤的分類有關系，該分類函數除了讓正確的分類盡量變大，還會讓錯誤的分類變得平均，但實際在分類問題中這個調整是沒有必要的。但是對於回歸問題來說，這樣的考慮就顯得很重要了。所以，回歸問題熵使用交叉上並不合適。