凸優化【4 凸優化問題的描述及基本概念】

凸優化問題 Convex Problems

凸優化的廣義定義

廣義上講，目標函數是凸函數，且相關約束是凸集約束，那么這個問題就稱為凸優化。

但實際上我們經常遇見的凸優化問題范圍會更小一點。

一般優化問題的描述

\[\begin{aligned} min \qquad & f_0 (x) \\ s.t \qquad & f_i (x) \leq 0, \quad i=1,...,m \\ & h_i(x) = 0, \quad i=1,...,p \end{aligned} \]

下面介紹一下與上面式子相關的名詞

名詞介紹

1. 優化變量 Optimization Variable： \(x\in R^n\)
2. 目標函數/損失函數(objective function/cost function)：\(f_0 : R^n \rightarrow R\)。當是最大化某個函數時，對應的函數可以成為效用函數（utility function）。
3. 不等式約束（Inequlity constant）：\(f_i(x) \leq 0\)
4. 等式約束（equlity constant）：\(h_i(x)=0\)
5. \(m=p=0\)時，則問題就變成無約束問題了（unconstanted）。
6. 優化問題的域(domain)：
   \[D= \bigcap^m_{i=1}dom \ f_i \cap \bigcap^p_{i=1}h_i \]

7. 可行解（feasible set）
   \[\begin{aligned} & x\in D 為可行解，則 \\ &f_i(x) \leq 0 \qquad i=1,...,m \\ &h_i(x) =0 \qquad i=1,...,p \\ \end{aligned} \]
   記：
   \[X_f = \{x為可行解\} \]

8. 問題的最優值（optimal value）
   \[\begin{aligned} p^* = inf \{f_0(x)|x \in X_f\} \end{aligned} \]

9. 最優解(optimal point/solution)
   \[若x^*可行，且f_0(x^*)=p^* \]

10. 最優解集（optimal set）
    \[X_{opt}=\{x|x \in X_f, f_0(x)=p^*\} \]

11. \(\epsilon\)次優解集(\(\epsilon -suboptimal set\))
    \[X_{\epsilon} = \{x|x\in X_f , f_0(x)\leq p^* + \epsilon \} \]

12. 局部最優解集（locally optimal）