最小二乘法的概念 最小二乘法要關心的是對應的cost function是線性還是非線性函數，不同的方法計算效率如何，要不要求逆，矩陣的維數 一般都是過約束，方程式的數目多於未知的參數數目。 最小 ...

最速下降，牛頓法：https://mp.weixin.qq.com/s?__biz=MzIxOTczOTM4NA==&mid=2247485041&idx=1&sn=9268b ...

1. 高斯牛頓法 殘差函數f(x)為非線性函數，對其一階泰勒近似有： 這里的J是殘差函數f的雅可比矩陣，帶入損失函數的： 令其一階導等於0，得： 這就是論文里常看到的normal equation。 2.LM LM是對高斯牛頓法進行了改進，在求解過程中引入了阻尼因子： 2.1 ...

轉載自 ：《 “反向傳播算法”過程及公式推導（超直觀好懂的Backpropagation）》 前言 入門機器學習，閱讀很多文章，都強調對於基礎概念都需要好好了解。 想起當時自己剛入門深度學習的時候，當時對神經網絡的“反向傳播”機制不是很理解（這對理解以后的很多概念來說，很重 ...

一、反向傳播的由來 在我們開始DL的研究之前，需要把ANN—人工神經元網絡以及bp算法做一個簡單解釋。關於ANN的結構，我不再多說，網上有大量的學習資料，主要就是搞清一些名詞：輸入層/輸入神經元，輸出層/輸出神經元，隱層/隱層神經元，權值，偏置，激活函數接下來我們需要知道ANN是怎么訓練的，假設 ...

特性的軟陰影算法。這里主要總結各種Soft Shadow Mapping的算法思想和推導過程，不提及實現 ...

一、 Levenberg-Marquardt算法 （1）y=a*e.^(-b*x)形式擬合 clear all % 計算函數f的雅克比矩陣，是解析式 syms a b y x real; f=a*exp(-b*x); Jsym=jacobian(f,[a b]); % 擬合用數據。參見 ...

LM算法全稱為Levenberg-Marquard algorithm，在正式介紹該算法之前，我們需要先研讀一下對該算法的發展有重要意義的幾篇論文。首先，我們從LM算法的開篇之作（Levenberg於1944年發表）開始。 A method for the solution ...