第7章 集成方法 ensemble method 集成方法: ensemble method（元算法: meta algorithm） 概述 概念：是對其他算法進行組合的一種形式。 通俗來說： 當做重要決定時，大家可能都會考慮吸取多個專家而不只是一個人的意見。 機器學習 ...

一、bagging 用於基礎模型復雜、容易過擬合的情況，用來減小 variance（比如決策樹）。基礎模型之間沒有太多聯系（相對於boosting來說），訓練可以並行。但用 bagging 並不能有 ...

是即便某一個弱分類器得到了錯誤的預測，其他的弱分類器也可以將錯誤糾正回來。 集成方法是將幾種機器學習技術 ...

本文主要參考Ensemble Methods for Deep Learning Neural Networks一文。 1. 前言 神經網絡具有很高的方差，不易復現出結果，而且模型的結果對初始化參數異常敏感。 使用集成模型可以有效降低神經網絡的高方差（variance）。 2. ...

第1章 機器學習基礎 機器學習 概述 機器學習就是把無序的數據轉換成有用的信息。 獲取海量的數據 從海量數據中獲取有用的信息 我們會利用計算機來彰顯數據背后的真實含義，這才是機器學習的意義。 機器學習 場景 機器學習已應用於多個領域，遠遠超出大多數人的想象 ...

第5章 Logistic回歸 Logistic 回歸 概述 Logistic 回歸雖然名字叫回歸，但是它是用來做分類的。其主要思想是: 根據現有數據對分類邊界線建立回歸公式，以此進行分類。 須知概念 Sigmoid 函數 回歸 概念 假設現在有一些數據點，我們用一條直線對這些點進行 ...

前面介紹了決策樹的相關原理和實現，其實集成學習並非是由決策樹演變而來，之所以從決策樹引申至集成學習是因為常見的一些集成學習算法與決策樹有關比如隨機森林、GBDT以及GBDT的升華版Xgboost都是以決策樹為基礎的集成學習方法，故將二者放在一起進行討論。本節主要介紹關於集成學習的基本原理，后面 ...

一. KNN原理： 1. 有監督的學習 根據已知事例及其類標，對新的實例按照離他最近的K的鄰居中出現頻率最高的類別進行分類。偽代碼如下： 　　1）計算已知類別數據集中的點與當前點之間的距離 　　2）按照距離從小到大排序 　　3）選取與當前點距離最小的k個點 　　4）確定這k個點所在類別 ...