最近學習了一些凸優化的知識，想寫幾篇隨筆作為總結備忘。在此篇中我們簡要地介紹一點點基本概念。
1. 凸集
**定義1. 集合$S\in\mathbb{R}^{n}(n\geq 1)$ 被稱為是凸集，如果對於任意的$x,y\in S$,$t\in (0,1)$則 $tx+(1-t)y\in S$**
Figure 1. 一些凸集和非凸集的簡單例子
2. 仿射集
**定義2. 集合$S\in\mathbb{R}^{n}(n\geq 1)$ 被稱為是仿射集，如果對於任意的$x,y\in S, x\neq y$,$t\in \mathbb{R}$則 $tx+(1-t)y\in S$**
由定義我們容易知道，仿射集只不過是由線性空間平移得到的集合，自然也是凸集。
定義3. 我們稱任意集合\(S\in\mathbb{R}^{n}(n\geq 1)\) 的仿射包為所有包含\(S\)的仿射集合中最小的那一個集合，記其為\(Aff\; S\)。
由定義我們很容易知道對於任意集合\(S\in\mathbb{R}^{n}(n\geq 1)\), 我們有：
除此以外，我們也會在后續接觸到一個重要概念：“相對內部”（Relative Interior）。現在若\(S\in\mathbb{R}^{n}\)是某一子集，\(Aff \ S\)是\(S\)的仿射包，則\(Aff \ S\)自然有由\(\mathbb{R}^{n}\)誘導的拓撲結構。現在我們定義：
**定義4. 我們稱\(S\)作為\(Aff \: S\)的子集在\(Aff \:S\)中其誘導拓撲意義下的內部稱為相對內部，記作relint:S。 **
定義4看着有點古板而拗口，其實它的意思也就是"\(S\) 在 \(Aff\:S\)中的內部，不是更大的\(\mathbb{R}^{n}\)中的內部"。例如對\(\mathbb{R}^{n}\)中任意的維度嚴格小於\(n\)的仿射子集\(A\),我們知道其在\(\mathbb{R}^{n}\)中的內部\(int A\)為空，但是其相對內部\(relint A\)就是\(A\)自身。
3.凸函數
**設某函數$f$的定義域$dom(f)\in\mathbb{R}^{n}$**是一個凸集，我們稱該函數時一個凸函數如果對於任意的$x,y\in dom(f)$, $t\in (0,1)$有： \begin{equation} f(tx+(1-t)y)\leq tf(x)+(1-t)f(y) \end{equation}
我們容易由泰勒展開公式證明如下結論：
定理1（凸函數的一二階導數刻畫):如果函數\(f\)的定義域\(dom(f)\in\mathbb{R}^{n}\) 是一凸的開集，且\(f\)在其上可微，則\(f\)是凸函數dang且僅當：對任意的\(x,y\in dom(f)\)成立有：
\begin{equation}
f(y)\geq f(x)+(y-x)\cdot \nabla f(x).
\end{equation}
進一步如果\(f\)二階可微，則\(f\)凸當且僅當對任意\(x\in dom(f)\), \(f\)在\(x\)處的\(Hessian\)矩陣\(Hess(f)(x)\triangleq (\frac{\partial^{2}f(x)}{\partial x_{i}\partial x_{j}})_{n\times n}\)非負定。
4.凸優化問題
現在我們考慮一類極值（優化）問題：
\begin{equation}\begin{split}\text{min}\quad & f_{0}(x) \newline \text{subject to:}\quad & f_{i}(x)\leq 0, i=1,...,m \newline & h_{i}(x)=0, i=1,...,p\end{split}\end{equation}
其中我們稱函數\(f_{0}: dom(f_{0})\in \mathbb{R}^{n}\longrightarrow \mathbb{R}\) 為目標函數，而其后所跟隨的不等號條件\(f_{i}(x)\leq 0, i=1,2,...,m\)為不等式約束條件，\(f_{i}: dom(f_{i})\longrightarrow \mathbb{R}\)\((i=1,...,m)\)為不等式約束函數，等號條件\(h_{i}(x)=0,i=1,...,p\)為等式約束條件，相應的\(h_{i}: dom(h_{i})\longrightarrow \mathbb{R}\)稱為等式約束函數， 我們統稱這些條件為約束條件，這些函數為約束函數。
在以后的討論中我們都用\(D\)表示定義域\(dom(f_{i}),i=0,...,m\), \(dom(h_{i}),i=1,...,p\)的交集, 而記集合\(C=\lbrace x\in D\mid f_{i}(x)\leq 0,i=1,...,m, h_{i}(x)=0,i=1,...,p\rbrace\)，稱其為優化問題(3)的可行域。注意到，\(C\)可能會是空集。同時，我們記\(p^{\ast}=inf_{x\in C}f_{0}(x)\), 稱其為最優化問題(3)的最優值。注意到，該最優值不一定能達到, 並且當可行域\(C\)為空集的時候\(p^{\ast}=+\infty\)。 如果\(x^{\ast}\in C\), \(f_{0}(x^{\ast})=p^{\ast}\), 我們稱\(x^{\ast}\)為最優化問題（3）的最優解。
所謂的凸優化問題就是（3）中\(f_{0},...,f_{m}\), \(h_{1},...,h_{p}\)均為凸函數而\(h_{1},...,h_{p}\)均為仿射函數的最優化問題。我們將在以后的隨筆中重地討論之。