神經網絡學習率過大導致損失率上升以及loss固定現象解釋

一、loss固定的原因:

當輸入變量都比較大時，反向傳播時梯度值較小使loss無法收斂。

二、學習率過大，損失值上升。

由於平方損失函數是一個二次函數，所以當學習率大時步長大，導致神經網絡越迭代損失值越大。