本文的目的是记录meshgrid()的理解过程: step1. 通过一个示例引入创建网格点矩阵; step2. 基于步骤1，说明meshgrid()的作用; step3. 详细解读meshgrid()的官网定义; 说明:step1和2 的数据都是基于笛卡尔坐标系的矩阵，目的是为了方便讨论 ...

本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，最后实现一个简单的梯度下降算法的实例！ 梯度下降的场景假设 梯度下降法的基本思想可以类比是一个下山的过程。可以假设一个场景：一个人上山旅游，天黑了，需要下山（到达山谷 ...

共轭梯度法关键是要找正交向量寻找方向，去不断逼近解。 其本质是最小二乘解的思想 最小二乘解 其中A系数矩阵是确定的，Ax是永远都取不到向量 b的，取得到那就是不用最小二乘解 我要求AX和b最小的距离，就是要求b在Ax上的投影，向量b-AX一定是要垂直于AX ...

function [k ender]=steepest(f,x,e) % f=x1-x2+2*x1^2+2*x1*x2+x2^2; 假设f等于% x=[0;0];% e=10^(-20);syms x1 x2 m; %m为学习率d=-[diff(f,x1);diff(f,x2)] %分别求 ...

The Learning Rate An important consideration is the learning rate µ, which determi ...

1. 梯度 　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量 ...

(1)梯度下降法 在迭代问题中，每一次更新w的值，更新的增量为ηv，其中η表示的是步长，v表示的是方向 要寻找目标函数曲线的波谷，采用贪心法：想象一个小人站在半山腰，他朝哪个方向跨一步，可以使他距离谷底更近（位置更低），就朝这个方向前进。这个方向可以通过微分得到。选择足够小的一段曲线 ...

回归与梯度下降 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归 ...