機器學習數學筆記|微積分梯度jensen不等式
覺得有用的話,歡迎一起討論相互學習~
原創文章,如需轉載請保留出處
本博客為七月在線鄒博老師機器學習數學課程學習筆記
為七月在線打call!!
課程傳送門
索引
- 微積分,梯度和Jensen不等式
- Taylor展開及其應用
- 常見概率分布和推導
- 指數族分布
- 共軛分布
- 統計量
- 矩估計和最大似然估計
- 區間估計
- Jacobi矩陣
- 矩陣乘法
- 矩陣分解RQ和SVD
- 對稱矩陣
- 凸優化
微積分與梯度
- 常數e的計算過程
- 常見函數的導數
- 分部積分法及其應用
- 梯度
- 上升/下降最快方向
- 凸函數
- Jensen不等式
自然常數e
引入
- 我們知道對於公式\(y=log_{a}x\),x=1時,y=0.則我們是否能找一點a值,使得y函數在(1,0)點的導數為1呢?
利用導數公式對\(y=log_{a}x\)求導
定理一:極限存在定理
- 單調有界函數必有極限
- 單調數列有上線,必有其極限
構造數列Xn證明其單調有上界
- 又因為其有(1+1)項,則其必比2要大然而又比3要小,則\(2<X_n<3\)
定理二:兩邊夾定理
自然常數e的推導
\[自然常數e可以看做e=1+\frac{1}{1!}+\frac{1}{2!}+\frac{1}{3!}+\frac{1}{4!}+...+\frac{1}{n!} \]
微分與積分
常用函數的導數公式
分部積分法
方向導數與梯度
對於方向導數我們也可以視為
\[(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}).(cos\varphi.sin\varphi)^{T} \]
- 方向導數顧名思義既是復合函數在某一方向上的導數，表示函數在某一方向上的變化趨勢。當在某一方向上的方向導數最大時，即是梯度
- 當
\[cos\varphi =\frac{\partial f}{\partial x}\\sin\varphi = \frac{\partial f}{\partial y} \]
時,這是方向導數取最大值,即是梯度
對於梯度我們有
- 方向導數是各個方向上的導數
- 偏導數連續才有梯度存在
- 梯度的方向是方向導數中取到最大值的方向，梯度的值是方向導數的最大值
凸函數與Jsnsen不等式
- 簡而言之,即是函數的割線永遠位於函數圖像的上方.
一階可微
- 簡而言之,即是函數如果是一個凸函數,且一階可微,則過函數任意一點做函數的切線,函數的切線永遠在函數的下方.
二階可微
凸函數舉例
Jensen不等式
- Jensen不等式相當於把凸函數的概念反過來說,即是如果f是一個凸函數,任意取一個在f定義域上的(x,y)點,\(\theta\)屬於[0,1].
- 當只有x,y兩個參數,即是使用 基本Jensen不等式 ,然而當推廣到k個參數時, 即是表示參數的線性加權的函數值總要小於函數值的線性加權.
- 可以將其推廣到概率密度分布上,假設\(\theta\)表示是事件的概率密度K點分布即所加和為1,則函數值的期望大於期望的函數值
PS:這都是在f是凸函數的狀況下! - Jensen不等式是所有不等式的基礎,所有不等式都能看做是Jensen不等式利用不同的凸函數推導出來的.
