batchsize對收斂速度的影響

想象一下，當mini-batch 是真個數據集的時候，是不是就退化成了 Gradient Descent，這樣的話，反而收斂速度慢。你忽略了batch 增大導致的計算 batch 代價變大的問題。如果盲目增大mini-batch size 確實是迭代次數減少了，但是計算時間反而會增加，因為每次計算代價大了。