本筆記主要記錄學習《機器學習》的總結體會。如有理解不到位的地方，歡迎大家指出，我會努力改正。 在學習《機器學習》時，我主要是通過Andrew Ng教授在mooc上提供的《Machine Learning》課程，不得不說Andrew Ng老師在講授這門課程時，真的很用心，特別是編程 ...

輸出是一個連續的數值。 模型表示 對於一個目標值，它可能受到多個特征的加權影響。例如寶可夢精靈的進化的 cp 值，它不僅受到進化前的 cp 值的影響，還可能與寶可夢的 hp 值、類型、高度以及重量相關。因此，對於寶可夢進化后的 cp 值，我們可以用如下線性公式來表示： \[y=b+ ...

回歸是統計學中最有力的工具之一。機器學習監督學習算法分為分類算法和回歸算法兩種，其實就是根據類別標簽分布類型為離散型、連續性而定義的。回歸算法用於連續型分布預測，針對的是數值型的樣本，使用回歸，可以在給定輸入的時候預測出一個數值，這是對分類方法的提升，因為這樣可以預測連續型數據而不僅僅是離散的類別 ...

看下面三幅圖，x 軸是房間面積，y 軸是房價。 左圖是 y = θ0 + θ1x 擬合數據集的結果。可以看到數據並不貼靠在直線上，所以擬合並不好。 中圖是 y = θ0 + θ1x + θ2x ...

多元線性回歸 一元線性回歸只有一個特征$x$，而多元線性回歸可以有多個特征$x_1, x_2, \ldots, x_n$ 假設 (Hypothesis)：$h_\theta(x)=\theta^Tx=\theta_0x_0+\theta_1x_1+\ldots+\theta_nx_n$ 參數 ...

第一章講述了基本的機器學習的概念以及分類，這里從單變量的線性回歸入手，吳恩達講解了機器學習中的幾個重要因素，如模型、損失函數、優化方法等 更多內容參考 機器學習&深度學習 首先以房價預測入手： 房子的面積 每平米的房價 ...

前言 由於本部分內容講解資源較多，本文不做過多敘述，重點放在實際問題的應用上。 一、線性回歸 線性回歸中的線性指的是對於參數的線性的，對於樣本的特征不一定是線性的。 線性模型（矩陣形式）：y=XA+e 其中：A為參數向量，y為向量，X為矩陣,e為噪聲向量。 對於線性模型 ...

一、決策樹與隨機森林 1、信息論基礎 香農：奠定了現代信息論基礎，定義信息的單位比特。 32支球隊，預測世界杯冠軍，不知道任何信息的情況下，使用二分法最少需要猜5次。(log32=5) 　　5 = - (1/32log1/32 + 1/32log1/32 + ...+ 1/32log1 ...