？凸優化在數學優化中有着重要且特殊的身份。數學優化是一個廣泛的話題，理解凸優化之前，請先理解線性優化。在機器學習算法中，已知的比如LogisticRegression,SVM,都與數學優化有關，在數學中，不存在無約束優化問題。比較常見的構建損失函數方法，從最簡單的兩個向量的二階范數的平方(KNN ...

在優化問題中，尋找最優解過程中兩個基本的難點：一是局部最優不一定是全局最優，而通過各類算法找到的最優值往往是局部最優值；其次便是約束條件的復雜性導致求解算法的復雜性大幅度增加。凸優化問題的優勢在於其局部最優解就是全局最優解，技巧與難點體現在描述問題的環節，一旦問題被建模為凸優化問題，求解過程 ...

凸優化 作者：櫻花豬 摘要: 本文為七月算法（julyedu.com）12月機器學習第四次課在線筆記。“凸優化”指的是一種比較特殊的優化，通過“凸優化”我們能夠把目標函數轉化成一個“凸函數”然后利用凸函數的性質求極值來求解問題。“凸優化”不僅僅在機器學習中有所應用，幾乎在 ...

概念 1)凸優化：是指一種比較特殊的優化，是指求取最小值的目標函數為凸函數的一類優化問題。 2)兩個不等式： 兩個正數的算數平均值大於幾何平均值，即： 給定可逆矩陣Q，對於任意的向量x，y有： 3)凸集：集合C中任意兩個不同點的線段仍在集合C內，則稱集合S ...

1. 概述 \(\quad\)那么開始第二期，介紹凸錐和常見的集合，這期比較短(因為公式打得太累了)，介紹凸集和凸錐與仿射集的意義在哪呢，為的就是將很多非凸集合轉化為凸集的手段，其中，又以凸包（包裹集合所有點的最小凸集）為最常用的手段，在細節一點，閉凸包（閉合的凸包）是更常用的手段。 2. 凸 ...

CMU凸優化筆記--凸集和凸函數 結束了一段時間的學習任務，於是打算做個總結。主要內容都是基於CMU的Ryan Tibshirani開設的Convex Optimization課程做的筆記。這里只摘了部分內容做了筆記，很感謝Ryan Tibshirani在官網中所作的課程內容開源。也很感謝韓龍飛 ...

【學習筆記】wqs二分/DP凸優化 ## 從一個經典問題談起: 有一個長度為 \(n\) 的序列 \(a\)，要求找出恰好 \(k\) 個不相交的連續子序列，使得這 \(k\) 個序列的和最大 \(1 \leq k \leq n \leq 10^5, -10^9 \leq a_i ...

典型的凸優化問題 什么樣的問題是一個凸優化問題呢？ \[\begin{aligned} & min \quad f_0(x) \\ & s.t. \quad f_i(x) \leq 0 \qquad i=1,...,m \\ & \qquad \ a_i^Tx ...