GD參考：
https://blog.csdn.net/CharlieLincy/article/details/70767791
SGD參考：
https://blog.csdn.net/CharlieLincy/article/details/71082147
關於SGD，博主的第二個問題。
GD 代碼：
SGD代碼：
mini-batch代碼：
一直不明白SGD和GD相比優勢到底在哪。看代碼每次迭代兩個算法都要遍歷一次數據集。沒啥區別。
然而。區別就在同樣是一次迭代，遍歷一次數據集，SGD更新了m次參數，GD只更新了一次。
關於這種隨機樣本更新的原理，以及SGD自動逃避鞍點的優點，有待進一步研究。
論文待看：Optimization methods for large-scale machine learning.