機器學習需要的數學總結


數學知識

數學知識總括

  • 微積分(高等數學)
  • 線性代數
  • 概率論與數理統計
  • 凸優化

微積分

微積分學,數學中的基礎分支。內容主要包括函數、極限、微分學、積分學及其應用。函數是微積分研究的基本對象,極限是微積分的基本概念,微分和積分是特定過程特定形式的極限

微積分/高等數學。在機器學習中,微積分主要用到了微分部分,作用是求函數的極值,就是很多機器學習庫中的求解器(solver)所實現的功能。在機器學習里會用到微積分中的以下知識點:

  • 導數和偏導數的定義與計算方法
  • 梯度向量的定義
  • 極值定理,可導函數在極值點處導數或梯度必須為0
  • 雅克比矩陣,這是向量到向量映射函數的偏導數構成的矩陣,在求導推導中會用到
  • Hessian矩陣,這是2階導數對多元函數的推廣,與函數的極值有密切的聯系
  • 凸函數的定義與判斷方法
  • 泰勒展開公式
  • 拉格朗日乘數法,用於求解帶等式約束的極值問題

其中最核心的是記住多元函數的泰勒展開公式,根據它我們可以推導出機器學習中常用的梯度下降法,牛頓法,擬牛頓法等一系列最優化方法:

線性代數

線性代數的理論是計算技術的基礎,同系統工程,優化理論及穩定性理論等有着密切聯系,隨着計算技術的發展和計算機的普及,線性代數作為理工科的一門基礎課程日益受到重視。線性代數這門課程的特點是概念比較抽象,概念之間聯系很密切。內容包括行列式,矩陣,向量空間,線性方程組,矩陣的相似對角化,二次型,線性空間與線性變換等, 機器學習中主要用到以下知識點

  • 向量和它的各種運算,包括加法,減法,數乘,轉置,內積
  • 向量和矩陣的范數,L1范數和L2范數
  • 矩陣和它的各種運算,包括加法,減法,乘法,數乘
  • 逆矩陣的定義與性質
  • 行列式的定義與計算方法
  • 二次型的定義
  • 矩陣的正定性
  • 矩陣的特征值與特征向量
  • 矩陣的奇異值分解
  • 線性方程組的數值解法,尤其是共軛梯度法

概率論與數理統計

主要內容包括:概率論的基本概念、隨機變量及其概率分布、數字特征、大數定律與中心極限定理、統計量及其概率分布、參數估計和假設檢驗、回歸分析、方差分析、馬爾科夫鏈等內容, 機器學習中主要用到以下知識點

  • 隨機事件的概念,概率的定義與計算方法
  • 隨機變量與概率分布,尤其是連續型隨機變量的概率密度函數和分布函數
  • 條件概率與貝葉斯公式
  • 常用的概率分布,包括正態分布,伯努利二項分布,均勻分布
  • 隨機變量的均值與方差,協方差
  • 隨機變量的獨立性
  • 最大似然估計

凸優化

凸優化,或叫做凸最優化,凸最小化,是數學最優化的一個子領域,研究定義於凸集中的凸函數最小化的問題。凸優化在某種意義上說較一般情形的數學最優化問題要簡單,譬如在凸優化中局部最優值必定是全局最優值。凸函數的凸性使得凸分析中的有力工具在最優化問題中得以應用

凸優化是機器學習中經常會提及的一個概念,這是一類特殊的優化問題,它的優化變量的可行域是凸集,目標函數是凸函數。凸優化最好的性質是它的所有局部最優解就是全局最優解,因此求解時不會陷入局部最優解。如果一個問題被證明為是凸優化問題,基本上已經宣告此問題得到了解決。在機器學習中,線性回歸、嶺回歸、支持向量機、logistic回歸等很多算法求解的都是凸優化問題。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM