原文地址: https://www.cnblogs.com/to-creat/p/6075322.html 機器學習十大算法之一：EM算法。能評得上十大之一，讓人聽起來覺得挺NB的。什么是NB啊，我們一般說某個人很NB，是因為他能解決一些別人解決不了的問題。神為什么是神，因為神能做很多人做 ...

本文介紹了Bregman迭代算法，Linearized Bregman算法（及在求解Basis Pursuit問題中的應用）和Split Bregman算法（及在求解圖像TV濾波問題中的應用）。 由於初學，加之水平有限，文中會有疏漏錯誤之處，希望大家批評指正賜教。 更新記錄 本文持續更新 ...

概念 1)凸優化：是指一種比較特殊的優化，是指求取最小值的目標函數為凸函數的一類優化問題。 2)兩個不等式： 兩個正數的算數平均值大於幾何平均值，即： 給定可逆矩陣Q，對於任意的向量x，y有： 3)凸集：集合C中任意兩個不同點的線段仍在集合C內，則稱集合S ...

1. 概述 \(\quad\)那么開始第二期，介紹凸錐和常見的集合，這期比較短(因為公式打得太累了)，介紹凸集和凸錐與仿射集的意義在哪呢，為的就是將很多非凸集合轉化為凸集的手段，其中，又以凸包（包裹集合所有點的最小凸集）為最常用的手段，在細節一點，閉凸包（閉合的凸包）是更常用的手段。 2. 凸 ...

牛頓法（英語：Newton's method）又稱為牛頓-拉弗森方法（英語：Newton-Raphson method），它是一種在實數域和復數域上近似求解方程的方法。方法使用函數f(x)的泰勒級數的前面幾項來尋找方程f(x)=0的根。 一般情況對於f(x)是一元二次的情況直接應用求根公式就可以 ...

1、二分法（一階導） 二分法是利用目標函數的一階導數來連續壓縮區間的方法，因此這里除了要求 f 在 [a0,b0] 為單峰函數外，還要去 f(x) 連續可微。 （1）確定初始區間的中點 x(0)=(a0+b0)/2 。然后計算 f(x) 在 x(0) 處的一階導數 f'(x ...

典型的凸優化問題 什么樣的問題是一個凸優化問題呢？ \[\begin{aligned} & min \quad f_0(x) \\ & s.t. \quad f_i(x) \leq 0 \qquad i=1,...,m \\ & \qquad \ a_i^Tx ...

關於非凸優化的方法， https://blog.csdn.net/kebu12345678/article/details/54926287 提到，可以把非凸優化轉換為凸優化，通過修改一些條件。 非凸優化問題如何轉化為凸優化問題的方法：1）修改目標函數，使之轉化為凸函數2）拋棄一些約束條件，使新 ...