一、概述
在1947年，Dantzig提出求解一般線性規划問題的單純形法之后。現在，解線性規划、非線性規划以及隨機規划、非光滑規划、多目標規划、幾何規划、整數規划等各種最優化問題的理論的研究發展迅速。
最優化問題的一般形式為：
X屬於Rn為約束集或可行域，f(x)是目標函數，x屬於Rn是決策變量。特別地，約束集X=Rn ,則最優化問題成為無約束最優化問題：
對於約束最優化問題通常寫為
這里，E和I分別是等式約束的指標集合不等式約束的指標集，ci是約束函數。當目標函數和約束函數均為線性函數時。問題稱為線性規划。當目標函數和約束函數中至少有一個是變量x的非線性函數時，問題稱為非線性規划。
除此之外，根據決策變量、目標函數和要求的不同，最優化還分成整數規划、動態規划、網絡規划、非光滑規划、隨機規划、幾何規划、多目標規划等若干分支。
本文主要研究求解無約束最優化問題和約束最優化問題。
二、半范數和范數定義
半范數：
范數：
三、向量范數和矩陣范數
（1）向量范數
（2）矩陣向量
（i） 類似於向量范數的定義，可以定義矩陣范數。設A為Rn×n,其誘導矩陣范數定義為：
誘導矩陣范數的兩個性質：
（ii）Frobenius范數及其它
