|
數學知識總括
- 微積分(高等數學)
- 線性代數
- 概率論與數理統計
- 凸優化
微積分
微積分學，數學中的基礎分支。內容主要包括函數、極限、微分學、積分學及其應用。函數是微積分研究的基本對象，極限是微積分的基本概念，微分和積分是特定過程特定形式的極限
微積分/高等數學。在機器學習中，微積分主要用到了微分部分，作用是求函數的極值，就是很多機器學習庫中的求解器（solver）所實現的功能。在機器學習里會用到微積分中的以下知識點：
- 導數和偏導數的定義與計算方法
- 梯度向量的定義
- 極值定理，可導函數在極值點處導數或梯度必須為0
- 雅克比矩陣，這是向量到向量映射函數的偏導數構成的矩陣，在求導推導中會用到
- Hessian矩陣，這是2階導數對多元函數的推廣，與函數的極值有密切的聯系
- 凸函數的定義與判斷方法
- 泰勒展開公式
- 拉格朗日乘數法，用於求解帶等式約束的極值問題
其中最核心的是記住多元函數的泰勒展開公式，根據它我們可以推導出機器學習中常用的梯度下降法，牛頓法，擬牛頓法等一系列最優化方法：
|
|
線性代數
線性代數的理論是計算技術的基礎，同系統工程，優化理論及穩定性理論等有着密切聯系，隨着計算技術的發展和計算機的普及，線性代數作為理工科的一門基礎課程日益受到重視。線性代數這門課程的特點是概念比較抽象，概念之間聯系很密切。內容包括行列式，矩陣，向量空間，線性方程組，矩陣的相似對角化，二次型，線性空間與線性變換等, 機器學習中主要用到以下知識點
- 向量和它的各種運算，包括加法，減法，數乘，轉置，內積
- 向量和矩陣的范數，L1范數和L2范數
- 矩陣和它的各種運算，包括加法，減法，乘法，數乘
- 逆矩陣的定義與性質
- 行列式的定義與計算方法
- 二次型的定義
- 矩陣的正定性
- 矩陣的特征值與特征向量
- 矩陣的奇異值分解
- 線性方程組的數值解法，尤其是共軛梯度法
|
|
概率論與數理統計
主要內容包括：概率論的基本概念、隨機變量及其概率分布、數字特征、大數定律與中心極限定理、統計量及其概率分布、參數估計和假設檢驗、回歸分析、方差分析、馬爾科夫鏈等內容, 機器學習中主要用到以下知識點
- 隨機事件的概念，概率的定義與計算方法
- 隨機變量與概率分布，尤其是連續型隨機變量的概率密度函數和分布函數
- 條件概率與貝葉斯公式
- 常用的概率分布，包括正態分布，伯努利二項分布，均勻分布
- 隨機變量的均值與方差，協方差
- 隨機變量的獨立性
- 最大似然估計
|
|
凸優化
凸優化，或叫做凸最優化，凸最小化，是數學最優化的一個子領域，研究定義於凸集中的凸函數最小化的問題。凸優化在某種意義上說較一般情形的數學最優化問題要簡單，譬如在凸優化中局部最優值必定是全局最優值。凸函數的凸性使得凸分析中的有力工具在最優化問題中得以應用
凸優化是機器學習中經常會提及的一個概念，這是一類特殊的優化問題，它的優化變量的可行域是凸集，目標函數是凸函數。凸優化最好的性質是它的所有局部最優解就是全局最優解，因此求解時不會陷入局部最優解。如果一個問題被證明為是凸優化問題，基本上已經宣告此問題得到了解決。在機器學習中，線性回歸、嶺回歸、支持向量機、logistic回歸等很多算法求解的都是凸優化問題。
|
|