學習率和loss下降的關系

本文摘自：學習率和batchsize如何影響模型的性能？

初始的學習率一般有一個最優值，過大則導致模型不收斂，過小則導致模型收斂特別慢或者無法學習，下圖展示了不同大小的學習率下模型收斂情況的可能性，圖來自於cs231n。