#對coursera上Andrew Ng老師開的機器學習課程的筆記和心得； #注:此筆記是我自己認為本節課里比較重要、難理解或容易忘記的內容並做了些補充，並非是課堂詳細筆記和要點； #標記為<補充>的是我自己加的內容而非課堂內容，參考文獻列於文末。博主能力有限，若有錯誤，懇請指正； #------------------------------------------------ ...

1.背景 PCA(Principal Component Analysis)，PAC的作用主要是減少數據集的維度，然后挑選出基本的特征。 PCA的主要思想是移動坐標軸，找到方差最大的方向上的特征值。什么叫方差最大的方向的特征值呢。就像下圖 ...

對於線性不可分的數據集，可以利用核函數（kernel）將數據轉換成易於分類器理解的形式。 　　如下圖，如果在x軸和y軸構成的坐標系中插入直線進行分類的話， 不能得到理想的結果，或許我們可以對圓中的數據進行某種形式的轉換，從而得到某些新的變量來表示數據。在這種表示情況下，我們就更容易得到大於 ...

一.簡介 前兩節分別實現了硬間隔支持向量機與軟間隔支持向量機，它們本質上都是線性分類器，只是軟間隔對“異常點”更加寬容，它們對形如如下的螺旋數據都沒法進行良好分類，因為沒法找到一個直線（超平面）能將其分隔開，必須使用曲線（超曲面）才能將其分隔，而核技巧便是處理這類問題的一種常用 ...

機器學習——聚類分析和主成分分析 在機器學習中，非監督性學習主要用來分類。其中重要的兩種就是聚類分析和主成分分析。這兩類算法在數據壓縮和數據可視化方面有着廣泛的應用。 所謂無監督學習是指訓練集里面只有點\(\{x^{(1)},x^{(2)},\ldots,x^{(m ...

基本概念 利用線性的方法，模擬因變量與一個或多個自變量之間的關系。自變量是模型輸入值，因變量是模型基於自變量的輸出值。 因變量是自變量線性疊加和的結果。 線性回歸模型背后的邏輯——最小二乘法計算線性系數 最小二乘法怎么理解？ 它的主要思想就是求解未知參數，使得理論值與觀測值之差 ...

SVM--簡介 支持向量機（Support Vector Machines）是一種二分類模型，它的目的是尋找一個超平面來對樣本進行分割，分割的原則是間隔最大化，最終轉化為一個凸二次規划問題來求解。 在機器學習領域，是一個有監督的學習模型，通常用來進行 ...

一、核函數（Kernel Function） 　1）格式 K(x, y)：表示樣本 x 和 y，添加多項式特征得到新的樣本 x'、y'，K(x, y) 就是返回新的樣本經過計算得到的值； 在 SVM 類型的算法 SVC() 中，K(x, y) 返回點乘：x' . y' 得到的值 ...