最小二乘法的概念 最小二乘法要关心的是对应的cost function是线性还是非线性函数，不同的方法计算效率如何，要不要求逆，矩阵的维数 一般都是过约束，方程式的数目多于未知的参数数目。 最小 ...

最速下降，牛顿法：https://mp.weixin.qq.com/s?__biz=MzIxOTczOTM4NA==&mid=2247485041&idx=1&sn=9268b ...

1. 高斯牛顿法 残差函数f(x)为非线性函数，对其一阶泰勒近似有： 这里的J是残差函数f的雅可比矩阵，带入损失函数的： 令其一阶导等于0，得： 这就是论文里常看到的normal equation。 2.LM LM是对高斯牛顿法进行了改进，在求解过程中引入了阻尼因子： 2.1 ...

转载自 ：《 “反向传播算法”过程及公式推导（超直观好懂的Backpropagation）》 前言 入门机器学习，阅读很多文章，都强调对于基础概念都需要好好了解。 想起当时自己刚入门深度学习的时候，当时对神经网络的“反向传播”机制不是很理解（这对理解以后的很多概念来说，很重 ...

一、反向传播的由来 在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。关于ANN的结构，我不再多说，网上有大量的学习资料，主要就是搞清一些名词：输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数接下来我们需要知道ANN是怎么训练的，假设 ...

特性的软阴影算法。这里主要总结各种Soft Shadow Mapping的算法思想和推导过程，不提及实现 ...

一、 Levenberg-Marquardt算法 （1）y=a*e.^(-b*x)形式拟合 clear all % 计算函数f的雅克比矩阵，是解析式 syms a b y x real; f=a*exp(-b*x); Jsym=jacobian(f,[a b]); % 拟合用数据。参见 ...

LM算法全称为Levenberg-Marquard algorithm，在正式介绍该算法之前，我们需要先研读一下对该算法的发展有重要意义的几篇论文。首先，我们从LM算法的开篇之作（Levenberg于1944年发表）开始。 A method for the solution ...