線性回歸
- 輸入與輸出符合線性關系
- 定義損失函數，損失函數是點（輸入 ，標簽）到直線的距離表示，越小越好
- 通過梯度下降的方法，求解最優參數
- 是一個迭代更新的過程
- 屬於監督學習
邏輯回歸
- 輸入屬於與輸入不符合線性關系
- 標簽為0-1
- 只能通過梯度下降來求最優參數
- 分類任務，
GBDT （梯度提升決策樹）
- 殘差值 = 真實值-預測值
- 將殘差值作為下一輪的真實值
- 迭代數次后，將所有的預測值相加
adboost
- AdaBoost是一種Boosting的融合算法，它通過級聯的方式，把一系列的弱學習模型融合在一起變成一個強分類器。
- AdaBoost既可以做分類，也可以做回歸
- AdaBoost做分類模型的時候，默認的基學習類型是決策樹。
- AdaBoost的多個子模型通過加權求和的方式融合，並不是簡單的求平均，子模型的權重取決於子模型的誤差率大小，誤差率越小，權值越大
支持向量機（SVM算法）
- 通過核涵式，實現了將一位空間的運算映射到高維空間
- 類似線性回歸，求一條擬合的直線
- 與線性回歸的不同點：損失函數的值是越大越好，也就是點和直線之間的距離越大越好