01-凸集
凸優化從入門到放棄完整教程地址：https://www.cnblogs.com/nickchen121/p/14900036.html
一、仿射和凸集
[直線和線段] 令 \(x_1\ne x_2\) 是 \(R^n\) 中的兩點， \(y=\theta x_1+(1-\theta)x_2\) ， \(\theta\in R\) 表達了過點 \(x_1,x_2\) 的一條直線，當 \(\theta\) 取 \(0，1\) 之間的數時，點 \(y\) 從 \(x_2\) 移動到 \(x_1\) ，對應着 \(x_1,x_2\) 之間的線段。
- 另一種表達式： \(y=x_2+\theta(x_1+x_2)\) 給出另一種解釋—— \(y\) 是從基點 \(x_2\) 出發，沿方向 \((x_1-x_2)\) 延申 \(\theta\) 倍處的點。
- 注：直線和線段的判斷其實就是參考 \(\theta\) 的取值，也就是看通過\(\theta\)形成的點 \(y\) 是在\(x_1\) 和 \(x_2\) 連線的內部還是外部。
[仿射集 Affine sets] 一個集合 \(C\subseteq R^n\) 是仿射的，如果C中任意兩不同點之間點的直線都在 \(C\) 中。也就是 \(\forall x_1,x_2\in C, \theta\in R\) ，有 \(\theta x_1+(1-\theta)x_2\in C\) .
- \(C\) 中包含了 \(C\) 中任意兩點的線性組合。
[仿射組合 Affine combination] 我們稱形如 \(\theta_1x_1+....+\theta_k x_k\) ， \((\theta_1+...+\theta_k=1)\) 的點為點 \(x_1,...,x_k\) 的仿射組合。
- 一個仿射集包含其所有點的所有仿射組合。
- 注：仿射組合，其實就可以看成是二維空間內的一條條直線，也就是點與點的線性組合
[仿射集的子空間] 如果 \(C\) 是一個仿射集， \(x_0\in C\) 那么集合 \(V=C-x_0=\{x-x_0| x\in C\}\) 是一個子空間，也就是對加法和標量乘法封閉。
證明：假設 \(v_1,v_2\in V\) 和 \(\alpha,\beta\in R\) , 我們有 \(v_1+x_0\in C\) , \(v_2+x_0\in C\) . 並且 \(av_1+\beta v_2+x_0= \alpha(v_1+x_0)+\beta(v_2+x_0)+(1-\alpha-\beta)x_0\in C\) ， 所以 \(\alpha v_1+\beta v_2 \in V\) .
因此仿射集 \(C\) 可以寫成： \(C=V+x_0=\{v+x_0|v\in V\}\) . 也就是一個子空間加上一個平移 (offset)。
注：子空間，可以想象成我隨便找一個定點 \(x_0\)，然后空間內的任意點與定點的連線形成一個新的空間，這個空間就是一個子空間。
[仿射集的維數] 我們定義仿射集 \(C\) 的維數為其子空間 \(V=C-x_0\) 的維數， \(x_0\) 可以是 \(C\) 中的任意元素。
[仿射包 Affine hull] 一個集合 \(C\subseteq R^n\) 中所有點的所有仿射組合的集合叫做C的仿射包，記作 \(aff\,C\) :
\(aff\,C=\{\theta_1x_1+...+\theta_kx_k| x_1,...,x_k\in C, \theta_1+...+\theta_k=1\}.\)
- 仿射包是包含 \(C\) 的最小仿射集: 如果 \(S\) 是任意帶有 \(C\in R^n\) 的仿射集，那么 \(aff\,C\subseteq S\) .
- 注：仿射包其實就是仿射集合的無限延伸，下面講到凸包的時候容易理解“包”的概念
[仿射維度] 定義集合 \(C\) 的仿射維度為它的仿射包的維度。
例如 \(R^2\) 內的單位元 \(\{x\in R^2| x_1^2+x_2^2=1\}\) ，它的仿射包是整個 \(R^2\) ，所以仿射維度是2維。
[相對內部 relative interior] 如果一個集合 \(C\subseteq R^n\) 的仿射維度小於 \(n\) ，那么這個集合在仿射集里 \(aff\,C\ne R^n\) ，我們將集合C的相對內部定義為 \(relint\, C = \{x\in C | B(x,r)\cap aff\,C \subseteq C, \; for\, some\; r>0 \}\)
其中 \(B(x,r)=\{y| ||y-x||\leq r\}\) 是以 \(x\) 為中心， \(r\) 為半徑的球。
注：相對內部其實就是自己在集合內部定義一個范圍出來
[相對邊界 relative boundary] 集合 \(C\) 的相對邊界定義為 \(cl\,C \backslash relint\,C\) ， \(cl\,C\) 是 \(C\) 的閉包。
[凸集 convex set] 一個集合 \(C\) 是凸的，如果 \(C\) 中任意兩點之間的線段都在 \(C\) 中。也就是 \(\forall x_1,x_2\in C\) , \(\forall \theta \in [0,1]\) 有 \(\theta x_1+(1-\theta)x_2\in C.\)
注：仿射集和凸集的主要區別，可以這樣去想，仿射集是可以無限延伸的，而凸集一般都是有限定范圍的。就類似於直線和線段的理解。
和仿射的區別：仿射中 \(\theta\in R\) 。
[凸組合] 形如 \(\theta_1x_1+...+\theta_k x_k, \theta_1+...+\theta_k=1，\theta_i\geq0,i=1,...,k\) 的點稱為點 \(x_1,...,x_k\) 的凸組合。
點的凸組合，可以看作是這些點的加權平均。
[凸包 convex hull] 集合 \(C\) 的凸包，是 \(C\) 中所有點的所有凸組合的集合，記作 \(convC\) 。 \(convC=\{\theta_1x_1+...+\theta_kx_k | x_i\in C, \theta_i\geq 0, i=1,...,k, \theta_1+...+\theta_k=1\}.\)
注：從凸包理解仿射包，其實就是對非凸集合做一個延伸擴展，讓其可凸
[錐 cone，凸錐] 一個集合 \(C\) 被稱為一個錐或者 nonnegative homogeneous 如果對於每個點 \(x\in C\) 和 \(\theta \geq 0\) 都有 \(\theta x\in C\) 。
一個集合 \(C\) 被稱為凸錐，如果它是凸集且是一個錐。也就是對於任意的 \(x_1,x_2\in C\) 和 \(\theta_1,\theta_2\geq 0\) 我們有 \(\theta_1x_1+\theta_2x_2\in C\) . 如圖，就像一塊披薩：
注：錐很好理解的，其實就可以看成射線的延伸。凸錐其實就是從原點開始兩條射線的延伸的形成的范圍
[錐組合] 一個形如 \(\theta_1x_1+...+\theta_kx_k, \theta1,...,\theta_k\geq 0\) 的點叫做點 \(x_1,...,x_k\) 的錐組合（或非負線性組合）。
- 如果點 \(x_i\) 在凸錐 \(C\) 中，那么 \(x_i\) 的每個錐組合都在 \(C\) 中。
[錐包 conic hull] 一個集合 \(C\) 的錐包是 \(C\) 中所有點的所有錐組合的集合。也就是 \(\{\theta_1x_1+...+\theta_kx_k | x_i\in C, \theta_i\geq 0 , i=1,...,k\}\) .
- 錐包是包含 \(C\) 的最小的錐。
二、一些重要的例子
[簡單的例子]
- 空集和任何單一的點 \(\{x_0\}\) 和整個空間 \(R^n\) 是 \(R^n\) 的仿射子集（凸）。
- 任意直線都是仿射的，如果它過零點，那么它是一個子空間，於是也是一個凸錐。
- 一個線段是凸的，但是不是仿射的（除非退化成一個點）。
- 一個射線（ray）形如 \(\{x_0+\theta v| \theta\geq 0\}\) , \(v\ne 0\) 是凸的，但是不是仿射的。如果基點 \(x_0\) 是 \(0\) 的話，它就是一個凸錐。
- 任何子空間都是仿射的，也是一個凸錐。
[超平面 Hyperplane] 一個超平面是集合 \(\{x|a^Tx=b\}\) ,，其中 \(a\in R^n\) , \(a\ne0\) , \(b\in R\) .
- 從分析的角度說，它是一個線性方程的解集（是仿射的）。
- 從幾何的角度說，是和向量 \(a\) 有相等的內積的點的集合。注：或者說一個法向量為 \(a\) 的超平面，而 \(b\) 就是超平面離原點的平移。可以寫成 \(\{x| a^T(x-x_0)=0\}\) , \(x_0\) 是平面上任意一點。
[半空間 Halfspace] 一個（閉的）半空間是一個集合 \(\{x| a^Tx\leq b\}\) 其中 \(a\ne 0\) .
- 它是一個線性不等式的解集。
- 它是凸的，但是不是仿射的。
- 幾何解釋：半空間可以寫成： \(\{x| a^T(x-x_0)\leq 0\}\) 它是由點 \(x_0\) 加上和向量 \(a\) 成鈍角的任意向量組成的。
- 注：半空間其實很好理解，就是對一個超平面進行了分割，也就是對一個無限延伸的空間進行了切分
注：接下來講的幾個凸集，可以通過圖片就很容易判斷了，具體的證明其實假設存在兩個點 \(x_1\) 和 \(x_2\)，然后套用仿射集、凸集、錐的定義看是否滿足條件就行了。
[歐幾里得球 Euclidean balls] 一個 \(R^n\) 中的（歐幾里得）球是 \(B(x_c,r)=\{x\;|\; ||x-x_c||_2\leq r\}=\{x| (x-x_c)^T(x-x_c)\leq r^2\}\) , \(r>0\) 表示歐幾里得范數，也就是 \(||u||_2=(u^Tu)^{1/2}\) 。歐幾里得球是一個凸集。
[球 norm ball，錐 norm cone] 令 \(\|\cdot\|\) 是 \(R^n\) 上的任意范數，norm ball 是集合 \(\{x| \| x-x_c\| \leq r\}\) 是凸的。norm cone 是集合 \(C=\{(x,t) | \|x\|\leq t\}\subseteq R^{n+1}\) .
[多面體 Polyhedra] 多邊形是有限個線性方程和不等式的解集 \(P=\{x| a^T_jx\leq b_j, j=1,...,m, c^Tx=d_j, j=1,...,p\}\) .
- 是多個半空間和超平面的交集
- 是凸集
[單純形 Simplexes] 單純形是多面體的另一個重要的類，令 \(k+1\) 個點 \(v_0,...,v_k\in R^n\) 是仿射獨立的，意思是 \(v_1-v_0,...,v_k-v_0\) 都是線性無關的。這些點確定的單純形是凸包 \(C=conv\{v_0,...,v_k\}=\{\theta_0v_0+...+\theta_kv_k\;| \; \theta \succeq 0,1^T\theta=1\}.\)
- 單純形的仿射維數是 \(k\) ，也叫做 \(k\) -單純形。
- 0-單純形是點，1-單純形是線段，2-單純形是三角形，3-單純形是四面體，而4-單純形是一個五胞體。
三、保持凸性的運算
[交集] 交集保持凸性，如果 \(S_1,S_2\) 是凸的，那么 \(S_1\cap S_2\) 也是凸的。這個性質可以推廣到有限個集合的交集。
[仿射函數] 一個函數 \(f: R^n\rightarrow R^m\) 是仿射的，如果它是一個線性函數和常數的和。也就是形如 \(f(x)=Ax+b\) , \(A\in R^{m\times n}\) , \(b\in R^m\) .
注：仿射函數，其實很容易理解，就可以看成是一個二維空間中的一個平面圖形的伸縮和平移，只不過這里是對高維空間進行了統一。假設，在二維空間有一個三角形，你無論怎么做伸縮和平移，它仍然是一個三角形，而三角形屬於單純型，單純型又都是凸的
如果 \(S\subseteq R^n\) 是凸的並且 \(f: R^n\rightarrow R^m\) 是一個仿射函數，那么 \(S\) 在 \(f\) 映射下的像 \(f(S)=\{f(x)| x\in S\}\) 是凸的。類似地， \(S\) 在 \(f\) 下的逆象也是凸的。
- 一個凸集的縮放 \(\alpha S\) 和平移 \(S+\alpha\) 是凸的.
- 一個凸集到它某個維度的投影是凸的: if \(S\subseteq R^m\times R^n\) , then \(T=\{x_1\in R^m| (x_1,x_2)\in S , for\, some\, x_2\in R^n\}\) is convex.
- 凸集的和是凸的。
- 凸集的積是凸的， \(S_1\times S_2=\{(x_1,x_2)|x_1\in S_1, x_2\in S_2\}\) .
- 凸集的部分和是凸的， \(S_1,S_2\in R^n\times R^m\) , \(S=\{(x,y_1+y_2)| (x,y_1)\in S_1, (x,y_2)\in S_2\}.\)
[透視函數 perspective function] 我們定義透視函數 \(P: R^{n+1}\rightarrow R^n\) ， \(P\) 的定義域 \(domP=R^n\times R_{++}\) ， \(P(z,t)=z/t\) .
注：透視函數其實也很容易理解，無非就是投影。依然拿二維空間舉例，從透視函數的定義，可以看出，無非是對某一維進行了降維，也就是二維圖像降維成了一維的，可以想象，三角形降維成一維的就是一條線段，如果是非凸非封閉的三角形透視之后就是有間隙的線段，也就是說透視之后非凸
\(R_{++}\) 是指正數的集合： \(R_{++}={x\in R|x>0}\)
- 透視函數可以縮放向量，或歸一化向量——使其最后一個元素為1，然后去掉最后一個元素。
- 如果 \(C\subseteq domP\) 是凸的，那么 \(C\) 在 \(P\) 映射下的像 \(P(C)\) 也是凸的。
[線性-分數 函數 Linear-fractional function] 一個Linear-fractional function 是透視函數和一個仿射函數的復合。
注：線性分式，很好理解咯，無非就是伸縮平移之后再投影（降維），一個道理，仍然保持凸性
設仿射函數 \(g: R^n\rightarrow R^{m+1}\) 為 \(g(x)=\begin{bmatrix}A\\c^T\end{bmatrix}x + \begin{bmatrix}b\\d\end{bmatrix}\) . 其中 \(A\in R^{m\times n}, b\in R^m, c\in R^n, d\in R.\)
則函數 \(f: R^n\rightarrow R^m\) ， \(f=P\circ g\) ，也就是
\(f(x)=(Ax+b)/(c^Tx+d)\) ,
$domf= {x|c^Tx+d>0} $
是一個Linear-fractional function。
- Linear-fractional function 保留凸性。
四、廣義不等關系
[proper cone] 一個錐 \(K\subseteq R^n\) 稱為 proper cone 如果它滿足以下性質：
- K是凸的
- K是閉的
- K是實的(solid)，也就是有非空的內部(interior)。
- K是尖的(pointed)，也就是不含有線（ \(x\in K, -x\in K \Rightarrow x=0\) ）.
[廣義不等關系] 是一個 \(R^n\) 上的偏序。令 \(K\) 是一個proper cone，定義:
注：廣義不等式其實就是規定了兩個比較對象的維度，而這種比較就需要考慮到各個維度的比較，比如 \(\begin{bmatrix} 1 \\ 2 \end{bmatrix}\) 和 \(\begin{bmatrix} 0 \\ 3\end{bmatrix}\) 就不可以比較，兩者之差 \(\begin{bmatrix} 1 \\ -1\end{bmatrix}\)不屬於錐內部了，比如 \(\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}\) 和 \(\begin{bmatrix} 0 \\ 1\end{bmatrix}\) 同樣不可以比較，兩者維度都不一樣
\(x\preceq_K y \Longleftrightarrow y-x\in K\) .
\(x\prec_K y \Longleftrightarrow y-x\in intK\) .
- 當 \(K=R_+\) 偏序 \(\prec_K\) 就是普通的 \(R\) 上的 \(\leq\) 。
- 廣義不等關系 \(\preceq_K\) 滿足許多性質：加法不變，傳遞性，非負縮放不變，自反性，反對稱性，取極限不變。
\(y-x\) 是以 \(x\) 為起點以 \(y\) 為終點的向量，畫圖就明白了。
[最小元素 minimum] \(x\in S\) 是 \(S\) 中的最小元素，如果對每個 \(y\in S\) 有 \(x\preceq_K y\) . 最大元素同理。 一個集合中的最小（最大）元素如果有就是唯一的。
[極小元素 minimal] \(x\in S\) 是 \(S\) 中的極小元素，如果 \(y\in S\) , \(y\preceq_k x\) 僅當 \(y=x\) . 極大元素同理。一個集合中可以有多個極小（極大）元素。
注：為了便於理解，判斷最小元素和極小元素可以從分量的角度去考慮，最小元素的所有分量都是最小的，比如比如 \(\begin{bmatrix} 1 \\ 2 \end{bmatrix}\) 和 \(\begin{bmatrix} 2 \\ 4\end{bmatrix}\)，兩個分量都是最小的 ；而極小元素可能只是某個分量為較小的，或者說極小元素的有些分量無法做出最小的判斷，比如比如 \(\begin{bmatrix} 1 \\ 0 \end{bmatrix}\) 和 \(\begin{bmatrix} 0 \\ 1\end{bmatrix}\) ，第一個分量前一個大，第二個分量前一個小。可以通過下圖自行從分量的角度理解
- 一個點 \(x\in S\) 是集合 \(S\) 的最小元素，當且僅當 \(S\subseteq x+K\) , 其中 \(x+K\) 表示所有大於或等於 \(x\) （ \(\preceq_K\) ）的點。
- 一個點 \(x\in S\) 是集合 \(S\) 的極小元素，當且僅當 \((x-K)\cap S=\{x\}\) , 其中 \(x-K\) 表示所有小於或等於 \(x\) （ \(\preceq_K\) ）的點。
五、分離超平面和支撐超平面 (Separating and Supporting Hyperplane)
[超平面分離定理] 令 \(C\) 和 \(D\) 都是非空且不相交的凸集， \(C\cap D =\emptyset\) . 那么存在 \(a\ne 0\) 和 \(b\) ，使得 \(a^Tx\leq b\) 對於所有的x \(\in C\) ，和 \(a^Tx\geq b\) 對於所有的 \(x\in D\) 。超平面 \(\{x| a^Tx=b\}\) 叫做集合 \(C,D\) 的分離超平面，它分離集合 \(C\) 和 \(D\) 。
如果把不等式的等號去掉就叫做嚴格分離。
[逆超平面分離定理] 任意兩個凸集 \(C，D\) ，其中至少一個是開集，它們不相交，當且僅當存在一個分離超平面。
[支撐超平面] 令 \(C\subseteq R^n\) ， \(x_0\) 是一個位於邊界 \(bd\,C\) 的點， \(x_0\in bd\,C=clC\backslash intC\) . 如果 \(a\ne 0\) 滿足對所有 \(x\in C\) 有 \(a^Tx\leq a^Tx_0\) ，那么超平面 \(\{x| a^Tx=a^Tx_0\}\) 叫做 \(C\) 在點 \(x_0\) 的支撐超平面。
注：支撐超平面其實就是一個凸集找到一條切線，並且這個凸集要在這個切線分離的其中一個半空間內
[支撐超平面定理] 對於任意非空凸集 \(C\) ，和任意點 \(x_0\in bd C\) 都有一個 \(C\) 在點 \(x_0\) 上支撐超平面。
[部分逆支撐超平面定理] 如果一個集合是閉的，有非空的內部，且在邊界上的每個點處有支撐超平面，那么它是凸的。注：只針對凸集
六、對偶錐和廣義不等關系
[對偶錐 Dual cone] 令 \(K\) 是一個錐，集合 \(K^*= \{y | x^Ty\geq 0, \; for all \; x\in K\}\) 叫做 \(K\) 的對偶錐。 \(K^*\) 是一個 錐，並且總是凸的，即使原來的錐 \(K\) 不是凸的。
注：其實很容易理解，就是從 \(x^Ty\geq 0\) 這個角度去考慮，可以把它看成是 \(x\) 和 \(y\) 的內積，這就是表明 \(x\) 和 \(y\) 形成的夾角小於 90° ，下圖中法向量 \(z\) 和 錐\(K\) 的一部分形成了鈍角，所以 \(z \notin k^*\)
向量 y和 K中任意向量x成銳角。
[對偶錐的性質]
- \(K^*\) 是閉且凸的。
- \(K_1\subseteq K_2\) 意味着 \(K^*_2\subseteq K^*_1\) .
- 如果 \(K\) 有非空的內部，那么 \(K^*\) 是尖的（pointed）.
- 如果 \(K\) 的閉包是pointed 那么 \(K^*\) 有非空的內部。
- \(K^{**}\) 是 \(K\) 凸包的閉包。（所以如果 \(K\) 是凸且閉的，那么 $ K^{ ** }=K$ ）注：對偶的對偶是原錐
以上性質表明，如果 \(K\) 是一個 proper cone，那么它的對偶錐 \(K^*\) 也是 proper cone，並且 \(K^{**}=K\) .
[對偶廣義不等關系] 令錐 \(K\) 是凸且proper的，由它給出一個廣義不等關系 \(\preceq_K\) 。然后它的對偶錐也是proper的，於是也給出一個廣義不等關系 \(\preceq_{K^*}\) ，作為 \(\preceq_K\) 的對偶。有以下性質：
- \(x\preceq_K y\) 當且僅當 \(\lambda^Tx\leq \lambda^Ty\) ， \(\forall \lambda\succeq_{K^*} 0\) .
- \(x\prec_K y\) 當且僅當 \(\lambda^T x< \lambda^Ty\) ， \(\forall \lambda\succeq_{K^*} 0\) , \(\lambda\ne 0\) .
注：對於最小元素的對偶性質和極小元素的對偶性質的具體理解，可以參考這篇博客https://www.zhihu.com/question/264853229
[最小元素的對偶性質] 根據不等關系 \(\preceq_K\) , \(x\) 是 \(S\) 中的最小元素，當且僅當對於所有的 \(\lambda \succ_{K^*} 0\) ， \(x\) 是唯一使得 \(\lambda^T z\) , \(z\in S\) 取最小值的元素。
用幾何的觀點看，這意味着對於任意 \(\lambda\succ_{K^*}0\) ，超平面 \(\{z| \lambda^T(z-x)=0\}\) 是 \(S\) 在點 \(x\) 上的嚴格支撐超平面（嚴格就是超平面和 \(S\) 只在點 \(x\) 相交），注意此處 \(S\) 不需要是凸集。
注：依然是從內積角度去看待這個問題
[極小元素的對偶性質] 如果存在 \(\lambda \succ_{K^*}0\) 並且 \(x\) 使得 \(\lambda^T z, z\in S\) 取最小值，那么 \(x\) 是極小值。
注：這樣去理解下述圖像可能容易點，也就是 \(x_1\) 是 \(\lambda_1\) 方向上的最優解。這樣有什么好處呢，比如對於一個 \(\lambda_1\) 和 \(\lambda_2\)，我們想知道 \(\lambda_1 x_1\) 和 \(\lambda_2 x_2\) 的大小，這是很困難的，但是我們知道 \(\lambda_1\) 和 \(\lambda_2\) 屬於 \(K^*\)，那么我們比較 \(\lambda_1\) 和 \(\lambda_2\) 在 \(K^*\) 上的大小就行了。
定理反過來是不對的，也就是存在這種情況： \(x\) 是極小元素，但不能使任何的 \(\lambda^Tz, z\in S\) 取最小值，如圖：
方形陰影是錐 \((x-K)\) , 回顧廣義不等關系那節: \(x\) 是極小元素，當且僅當錐 \((x-K)\) 與 \(S\) 僅在 \(x\) 點相交。同時，對於任意的 \(\lambda\) ， \(\lambda^Tx\) 都不是最小的，最小值總是在凸的地方取到。
如果加上條件： \(S\) 是凸集，那么以上逆定理就正確了，對於任意極小元素 \(x\) ，有非零的 \(\lambda\succeq_{K^*}0\) 使得 \(\lambda^Tz, z\in S\) 在 \(x\) 處取得最小值。
- 但是如果此時，把條件強化為 \(\lambda\succ_{K^*}0\) 就又不對了，如圖：
七、最小元和極小元和對偶錐的再解釋
復習：最小元與極小元
下面兩幅圖分別表示最小元和極小元
利用對偶錐，我們可以獲得最小元的等價定義，即
\(x\) 是集合 \(S\) 關於 \(\preceq_{K}\) 的最小元 \(\iff\) 對任意的 \(\lambda \succ_{K*} 0\)，\(x\) 為 \(\lambda^Tz\) 在集合 \(S\) 上的唯一最小解
什么意思呢？也就是說任意的 \(\lambda\in K^*\)，實際上都代表了一個法向量，也就是一個支撐超平面。如果 \(x\) 是最小元，則意味着對任意一個 (\(K^*\)所定義的) 支撐超平面來說，\(x\) 都是支撐點，就像下面這條幅圖一樣
而極小元的定義是什么呢？
- 充分條件：若對於某些 \(\lambda \succ_{K*} 0\)，\(x\) minimizes \(\lambda^Tz\) over \(S\)，\(\Longrightarrow\)\(x\) 為極小元
- 必要條件：\(x\) 為凸集\(S\) 的極小元，\(\Longrightarrow\) 存在非 0 的 \(\lambda \succ_{K*} 0\) 使得 \(x\) minimizes \(\lambda^Tz\) over \(S\)
我們來看充分條件，只需要存在某一個 \(\lambda\in K^*\)，使得 \(x\) 為對應支撐超平面的支撐點就可以了。比如下面這幅圖，藍色的點，我們可以找到這樣一個藍色的支撐超平面，使其為支撐點，所以它就是一個極小元；而對於紅色的點來說，無論如何不可能找到一個支撐超平面，使其為支撐點，因此他就有可能不是極小元，因為這只是充分條件（對這個例子來說他就不是極小元）。
簡單總結一下：
- 最小元：無論沿着錐 \(K^*\) 里邊哪一個方向走，\(x\) 都是最小值點，那么他就是最小元；
- 極小元：如果沿着其中某一個方向走，\(x\) 是最小值點，那么他就是極小元。
參考文獻：Stephen Boyd, Lieven Vandenberghe: Convex Optimization