机器学习的三个步骤，包括了表示、评价、优化这样三个步骤，在这三个步骤当中会用到不同的数学公式来分别解决这三个问题。用到的基础数学都包括线性代数，概率统计，还有最优化理论。这是在机器学习当中用到的最基础 ...

Deep Learning（深度学习）： ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：一 ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清 ...

拉格朗日乘数法解含不等式约束的最优化问题 拉格朗日乘子法(Lagrange Multiplier)和 KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约 ...

在线学习想要解决的问题 在线学习 ( \(\it{Online \;Learning}\) ) 代表了一系列机器学习算法，特点是每来一个样本就能训练，能够根据线上反馈数据，实时快速地进行模型调整，使 ...

一. 凸函数的性质 二. 凸函数的判别 判断一个函数是否为凸函数，最基本的方法是使用其定义。 对可微函数： 三、凸规划定义 ...

syms f x1 x2 f=(1/2)*x1^2+x2^2; x=[2;1]; a=[1 0;0 2];% A g1=diff(f,x1); g2=diff(f,x2); g=[g1;g2] ...

注：该文是上了开智学堂数据科学基础班的课后做的笔记，主讲人是肖凯老师。 最优化 为什么要做最优化呢？因为在生活中，人们总是希望幸福值或其它达到一个极值，比如做生意时希望成本最小，收入最大，所以在很 ...

引言 最近有些朋友总来问我有关遗传算法的东西，我是在大学搞数学建模的时候接触过一些最优化和进化算法方面的东西，以前也写过几篇博客记录过,比如[遗传算法的C语言实现(一):以非线性函数求极 ...

dijskstra最短路径算法步骤： 输入：图G=（V(G),E(G)）有一个源顶点S和一个汇顶点t，以及对所有的边ij属于E（G）的非负边长出cij。 输出：G从s到t的最短路径的长度。 第0 ...

一、方向导数 lim t->0 f(x0+td)-f(x0) / t 存在 则该极限为f在x0处沿方向d的方向导数 记为 ∂ f/∂ d 下降方向： 方向导数∂ ...