機器學習最通俗的解釋就是讓機器學會決策。對於我們人來說，比如去菜市場里挑選芒果，從一堆芒果中拿出一個，根據果皮顏色、大小、軟硬等屬性或叫做特征，我們就會知道它甜還是不甜。類似的，機器學習就是把這些屬性信息量化后輸入計算機模型，從而讓機器自動判斷一個芒果是甜是酸，這實際上就是一個分類問題。
分類和回歸是機器學習可以解決兩大主要問題，從預測值的類型上看，連續變量預測的定量輸出稱為回歸；離散變量預測的定性輸出稱為分類。例如：預測明天多少度，是一個回歸任務；預測明天陰、晴、雨，就是一個分類任務。
線性回歸（Linear Regression）
預測函數
損失函數
那么怎樣評價它對於觀測到的數據點擬合得好壞呢？所以需要對我們做出的假設hh進行評估，一般這個函數成為損失函數（loss function）
很直觀的想法是希望預測值與實際值盡可能接近，即看預測值與實際值之間的均方誤差是否最小，定義線性回歸損失函數為
所以現在變成了一個優化問題，即找到要找到令損失函數J(θ)J(θ)最小的θθ。定義均方誤差有着非常好的幾何含義，對應常用的歐式距離（Euclidean distance），基於均方誤差最小化進行模型求解的方法稱為“最小二乘法”（least square method）。
原文：https://blog.csdn.net/jk123vip/article/details/80591619