TensorFlow.NET機器學習入門【2】線性回歸

回歸分析用於分析輸入變量和輸出變量之間的一種關系，其中線性回歸是最簡單的一種。

設： Y=wX+b，現已知一組X（輸入）和Y（輸出）的值，要求出w和b的值。

舉個例子：快年底了，銷售部門要發年終獎了，銷售員小王想知道今年能拿多少年終獎，目前他大抵知道年終獎是和銷售額（特征量）掛鈎的，具體什么規則不清楚，那么他大概有兩個方法解決這個問題：

1、去問老板，今年的分配規則是什么。【通過算法解決問題】

2、去向同事打聽他們的銷售額和獎金情況，然后推算自己能拿多少。【通過數據解決問題】

 我們當然選擇第二種方法了。通過收集數據，我們得到下面這個表格： 

拿到這個數據，我們基本上很快就能推算出兩者的對應關系，如果推算不出來，我們也可以繪制下面這張圖表： 

 通過圖表，我們可以立即看出兩者的對應關系了。

 以上就是一個典型的線性回歸求解的問題，下面我們要用TensorFlow框架解決這個問題。

具體解決思路如下：

1、先設w=1，b=0

2、取得一批訓練數據，將X代入函數f(x)=wx+b，計算取得在當前條件下的預測值Y‘

3、計算預測值Y‘和實際值Y的誤差

4、根據梯度對w、b進行微調

5、重復上述步驟，直到誤差值足夠小。

 

先貼出全部代碼，然后再逐一解釋。

   public class LinearRegression
    {        
        public void Run()
        {
            // Supper Parameters
            float learning_rate = 0.01f;

            var W = tf.Variable<float>(1);
            var b = tf.Variable<float>(0);

            int epochs = 30;
            int steps = 100;
            Tensor loss = null;

            for (int epoch = 0; epoch < epochs; epoch++)
            {
                for (int step = 0; step < steps; step++)
                {
                    int batch_size = 10;
                    (NDArray train_X, NDArray train_Y) = LoadBatchData(batch_size);

                    using (var g = tf.GradientTape())
                    {
                        //通過當前參數計算預測值
                        var pred_y = W * train_X + b;

                        //計算預測值和實際值的誤差
                        loss = tf.reduce_sum(tf.pow(pred_y - train_Y, 2)) / batch_size;

                        //計算梯度
                        var gradients = g.gradient(loss, (W, b));

                        //更新參數
                        W.assign_sub(learning_rate * gradients.Item1);
                        b.assign_sub(learning_rate * gradients.Item2);
                    }
                }

                Console.WriteLine($"Epoch{epoch + 1}: loss = {loss.numpy()}; W={W.numpy()},b={b.numpy()}");
            }
        }

        public (NDArray, NDArray) LoadBatchData(int n_samples)
        {
            float w = 0.02f;
            float b = 1.0f;

            NDArray train_X = np.arange<float>(start: 1, end: n_samples + 1);
            NDArray train_Y = train_X * w + b;

            return (train_X, train_Y);
        }
    }

下面對代碼進行簡單的解釋：

首先，我們要讀取一批（比如10組 ）訓練數據，標記為：train_X和train_Y，然后通過現有的w和b值計算預測值：pred_Y=w*train_X+b，此時train_X、train_Y、pred_Y都是10個數據長度的數組。

然后計算預測數據和時間數據之間的誤差，我們采用均方誤差公式來計算：

 然后開始計算W、b對於loss函數的梯度，梯度表達的就是W、b的變化對計算結果的影響，比如將W增大一點，loss的計算結果是變大還是變小，我們的目標是希望loss的值最小，如果w變大時loss變大（梯度為正數），那么我們下一次就將w變小一點，反之同理。

這里的learning_rate表示學習率，表示每次參數進行調整的步進值，就是每次調整一大步，還是一小步。通過多次的循環調整，w和b的值將調整為一個合適的數字，此時loss的值將會很小，線性回歸就完成了。以下是運算結果：

  在上述過程中，最難理解的就是梯度，以及如何計算梯度的問題，想要進一步了解的話可以參閱相關參考資料。

 

【相關資源】

 源碼：Git: https://gitee.com/seabluescn/tf_not.git

項目名稱：LinearRegression

目錄：查看TensorFlow.NET機器學習入門系列目錄

 

【參考資料】

《深度學習入門：基於Python的理論與實踐（齋藤康毅）》，網上可以找到電子版