1. 損失函數 在線性回歸分析中，假設我們的線性回歸模型為： 樣本對應的正確數值為： 現在假設判別函數的系數都找出來了，那么通過判別函數G(x)，我們可以預測是樣本x對的值為。那這個跟實際的y的差距有多大呢？這個時候我就出來一個損失函數： 其實損失函數很容易理解，就是所有 ...

　　梯度下降算法是通過沿着目標函數J(θ)參數θ∈R的梯度（一階導數）相反方向−∇θJ(θ)來不斷更新模型參數來到達目標函數的極小值點（收斂），更新步長為η。有三種梯度下降算法框架，它們不同之處在於每次學習（更新模型參數）使用的樣本個數，每次更新使用不同的樣本會導致每次學習的准確性和學習時間 ...

tensorflow使用tf.train.ExponentialMovingAverage實現滑動平均模型，在使用隨機梯度下降方法訓練神經網絡時候，使用這個模型可以增強模型的魯棒性（robust），可以在一定程度上提高模型在測試數據集上的表現。 滑動平均模型為每個變量維護一個影子變量，其初始值 ...

Tensorflow滑動平均模型tf.train.ExponentialMovingAverage解析 覺得有用的話,歡迎一起討論相互學習~ 移動平均法相關知識 原文鏈接 移動平均法又稱滑動平均法、滑動平均模型法（Moving average，MA） 什么是移動平均法 　 移動 ...

　　不多說，直接上干貨！ 回歸與梯度下降 　　回歸在數學上來說是給定一個點集，能夠用一條曲線去擬合之，如果這個曲線是一條直線，那就被稱為線性回歸，如果曲線是一條二次曲線，就被稱為二次回歸，回歸還有很多的變種，如本地加權回歸、邏輯回歸，等等。 　　用一個 ...

梯度下降法先隨機給出參數的一組值，然后更新參數，使每次更新后的結構都能夠讓損失函數變小，最終達到最小即可。在梯度下降法中，目標函數其實可以看做是參數的函數，因為給出了樣本輸入和輸出值后，目標函數就只剩下參數部分了，這時可以把參數看做是自變量，則目標函數變成參數的函數了。梯度下降每次都是更新每個參數 ...

由於第一次實驗的實驗報告不在這台機器，先寫這一算法吧。 SGDLR（the Stochastic Gradient Descent for Logistic Regression），要講解這一算法，首先要把名字拆為幾塊。 1 隨機 2 梯度下降 3邏輯回歸 先貼一篇文章：http ...