回歸算法是一種通過最小化預測值與實際結果值之間的差距,而得到輸入特征之間的最佳組合方式的一類算法。對於連續值預測有線性回歸等,而對於離散值/類別預測,我們也可以把邏輯回歸等也視作回歸算法的一種。
線性回歸與邏輯回歸是機器學習中比較基礎又很常用的內容。線性回歸主要用來解決連續值預測的問題,邏輯回歸用來解決分類的問題,輸出的屬於某個類別的概率,工業界經常會用邏輯回歸來做排序。在SVM、GBDT、AdaBoost算法中都有涉及邏輯回歸,回歸中的損失函數、梯度下降、過擬合等知識點也經常是面試考察的基礎問題.
