![]() |
數學知識總括
- 微積分(高等數學)
- 線性代數
- 概率論與數理統計
- 凸優化
微積分
微積分學,數學中的基礎分支。內容主要包括函數、極限、微分學、積分學及其應用。函數是微積分研究的基本對象,極限是微積分的基本概念,微分和積分是特定過程特定形式的極限
微積分/高等數學。在機器學習中,微積分主要用到了微分部分,作用是求函數的極值,就是很多機器學習庫中的求解器(solver)所實現的功能。在機器學習里會用到微積分中的以下知識點:
- 導數和偏導數的定義與計算方法
- 梯度向量的定義
- 極值定理,可導函數在極值點處導數或梯度必須為0
- 雅克比矩陣,這是向量到向量映射函數的偏導數構成的矩陣,在求導推導中會用到
- Hessian矩陣,這是2階導數對多元函數的推廣,與函數的極值有密切的聯系
- 凸函數的定義與判斷方法
- 泰勒展開公式
- 拉格朗日乘數法,用於求解帶等式約束的極值問題
其中最核心的是記住多元函數的泰勒展開公式,根據它我們可以推導出機器學習中常用的梯度下降法,牛頓法,擬牛頓法等一系列最優化方法:
![]() |
![]() |
線性代數
線性代數的理論是計算技術的基礎,同系統工程,優化理論及穩定性理論等有着密切聯系,隨着計算技術的發展和計算機的普及,線性代數作為理工科的一門基礎課程日益受到重視。線性代數這門課程的特點是概念比較抽象,概念之間聯系很密切。內容包括行列式,矩陣,向量空間,線性方程組,矩陣的相似對角化,二次型,線性空間與線性變換等, 機器學習中主要用到以下知識點
- 向量和它的各種運算,包括加法,減法,數乘,轉置,內積
- 向量和矩陣的范數,L1范數和L2范數
- 矩陣和它的各種運算,包括加法,減法,乘法,數乘
- 逆矩陣的定義與性質
- 行列式的定義與計算方法
- 二次型的定義
- 矩陣的正定性
- 矩陣的特征值與特征向量
- 矩陣的奇異值分解
- 線性方程組的數值解法,尤其是共軛梯度法
![]() |
![]() |
概率論與數理統計
主要內容包括:概率論的基本概念、隨機變量及其概率分布、數字特征、大數定律與中心極限定理、統計量及其概率分布、參數估計和假設檢驗、回歸分析、方差分析、馬爾科夫鏈等內容, 機器學習中主要用到以下知識點
- 隨機事件的概念,概率的定義與計算方法
- 隨機變量與概率分布,尤其是連續型隨機變量的概率密度函數和分布函數
- 條件概率與貝葉斯公式
- 常用的概率分布,包括正態分布,伯努利二項分布,均勻分布
- 隨機變量的均值與方差,協方差
- 隨機變量的獨立性
- 最大似然估計
![]() |
![]() |
凸優化
凸優化,或叫做凸最優化,凸最小化,是數學最優化的一個子領域,研究定義於凸集中的凸函數最小化的問題。凸優化在某種意義上說較一般情形的數學最優化問題要簡單,譬如在凸優化中局部最優值必定是全局最優值。凸函數的凸性使得凸分析中的有力工具在最優化問題中得以應用
凸優化是機器學習中經常會提及的一個概念,這是一類特殊的優化問題,它的優化變量的可行域是凸集,目標函數是凸函數。凸優化最好的性質是它的所有局部最優解就是全局最優解,因此求解時不會陷入局部最優解。如果一個問題被證明為是凸優化問題,基本上已經宣告此問題得到了解決。在機器學習中,線性回歸、嶺回歸、支持向量機、logistic回歸等很多算法求解的都是凸優化問題。
![]() |
![]() |