的主成分分析方法就是PCA了。從線性代數的角度看，PCA的目標就是使用另一組基去重新描述得到的數據空間 ...

最優化問題綜述 1 優化問題分類 優化問題一般可分為兩大類：無約束優化問題和約束優化問題，約束優化問題又可分為含等式約束優化問題和含不等式約束優化問題。 無約束 ...

對於約束優化問題： 拉格朗日公式： 其KKT條件為： 求解 x、α、β 其中β*g(x)為互補松弛條件 KKT條件是使一組解成為最優解的必要條件，當原問題是凸問題的時候，KKT條件也是充分條件。 ...

整數規划基本介紹： 其實就是在普通線性規划上加了整數這一概念，要求所給的最優解為整數； 在實際生活中應用居多，對於最優解為較小的整數時的規划問題多有針對； 關於標准線性規划下的整數規划問題： 對於部分整數規划問題，是可以用求解標准線性規划的思想進行求解，比如單純形法 ...

進入算法研發部，在大致了解部門的項目構成，主要職責之后，我意識到最優化算法在各個項目組中都具有重要的作用，例如CTR預估、排序等。然而，由於自己在讀博期間除了“邏輯回歸”以外，沒有系統參與過涉及最優化的項目，因此在還沒有分配到具體任務的情況下，首先自發地對最優化算法的發展歷程進行了調研。心得體會 ...

第四章：最速下降算法。最速下降法、擬牛頓法等都是求解准則函數（即無約束優化問題）的算法，這就需要有一個 ...

精確一維搜索 試探法 精確一維搜索就是通過迭代取減少搜索區間 對於搜索區間[a, b] 在這個區間中找連個互不相同的試探點p1 p2獲取f(p1), f(p2), 設p1 < p2 若 ...

　　最優化問題是普遍存在的，以前上運籌學課的時候也接觸過最優化相關的問題，當時主要是理論課，並且關注的重點是單純形法、運輸問題以及圖論等，這里指的最優化是指函數的最優化，即函數的極值，由於尋找一個局部最優比尋找全局最優要簡單得多，所以這里的最優解也是指的局部最優解。 牛頓最優化方法 ...