什么是線性規划： 線性規划就是特殊的有約束優化問題，目的是通過一組線性等式或者不等式下得可行集合點，來尋找一個目標函數的極值； 通常來說，極值可以是極大極小，但是一般采用極小，看到相關的案例，求極大值直接前面加負號變為極小值即可； 線性規划的基本問題形式： 線性規划問題可以采用最基本 ...

最優化問題綜述 1 優化問題分類 優化問題一般可分為兩大類：無約束優化問題和約束優化問題，約束優化問題又可分為含等式約束優化問題和含不等式約束優化問題。 無約束 ...

進入算法研發部，在大致了解部門的項目構成，主要職責之后，我意識到最優化算法在各個項目組中都具有重要的作用，例如CTR預估、排序等。然而，由於自己在讀博期間除了“邏輯回歸”以外，沒有系統參與過涉及最優化的項目，因此在還沒有分配到具體任務的情況下，首先自發地對最優化算法的發展歷程進行了調研。心得體會 ...

第四章：最速下降算法。最速下降法、擬牛頓法等都是求解准則函數（即無約束優化問題）的算法，這就需要有一個 ...

精確一維搜索 試探法 精確一維搜索就是通過迭代取減少搜索區間 對於搜索區間[a, b] 在這個區間中找連個互不相同的試探點p1 p2獲取f(p1), f(p2), 設p1 < p2 若 ...

最近加了一個QQ群，接觸了點新的東西，包括稀疏近似，低秩近似和壓縮感知等。Robust PCA中既包含了低秩，又包含了稀疏，於是以其為切入點，做了如下筆記。筆記中有的公式有比較詳細的推導，希望對讀者有 ...

對於約束優化問題： 拉格朗日公式： 其KKT條件為： 求解 x、α、β 其中β*g(x)為互補松弛條件 KKT條件是使一組解成為最優解的必要條件，當原問題是凸問題的時候，KKT條件也是充分條件。 ...

整數規划基本介紹： 其實就是在普通線性規划上加了整數這一概念，要求所給的最優解為整數； 在實際生活中應用居多，對於最優解為較小的整數時的規划問題多有針對； 關於標准線性規划下的整數規划問題： 對於部分整數規划問題，是可以用求解標准線性規划的思想進行求解，比如單純形法 ...