原文地址: https://www.cnblogs.com/to-creat/p/6075322.html 机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做 ...

本文介绍了Bregman迭代算法，Linearized Bregman算法（及在求解Basis Pursuit问题中的应用）和Split Bregman算法（及在求解图像TV滤波问题中的应用）。 由于初学，加之水平有限，文中会有疏漏错误之处，希望大家批评指正赐教。 更新记录 本文持续更新 ...

概念 1)凸优化：是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。 2)两个不等式： 两个正数的算数平均值大于几何平均值，即： 给定可逆矩阵Q，对于任意的向量x，y有： 3)凸集：集合C中任意两个不同点的线段仍在集合C内，则称集合S ...

1. 概述 \(\quad\)那么开始第二期，介绍凸锥和常见的集合，这期比较短(因为公式打得太累了)，介绍凸集和凸锥与仿射集的意义在哪呢，为的就是将很多非凸集合转化为凸集的手段，其中，又以凸包（包裹集合所有点的最小凸集）为最常用的手段，在细节一点，闭凸包（闭合的凸包）是更常用的手段。 2. 凸 ...

牛顿法（英语：Newton's method）又称为牛顿-拉弗森方法（英语：Newton-Raphson method），它是一种在实数域和复数域上近似求解方程的方法。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根。 一般情况对于f(x)是一元二次的情况直接应用求根公式就可以 ...

1、二分法（一阶导） 二分法是利用目标函数的一阶导数来连续压缩区间的方法，因此这里除了要求 f 在 [a0,b0] 为单峰函数外，还要去 f(x) 连续可微。 （1）确定初始区间的中点 x(0)=(a0+b0)/2 。然后计算 f(x) 在 x(0) 处的一阶导数 f'(x ...

典型的凸优化问题 什么样的问题是一个凸优化问题呢？ \[\begin{aligned} & min \quad f_0(x) \\ & s.t. \quad f_i(x) \leq 0 \qquad i=1,...,m \\ & \qquad \ a_i^Tx ...

关于非凸优化的方法， https://blog.csdn.net/kebu12345678/article/details/54926287 提到，可以把非凸优化转换为凸优化，通过修改一些条件。 非凸优化问题如何转化为凸优化问题的方法：1）修改目标函数，使之转化为凸函数2）抛弃一些约束条件，使新 ...