1. 凸集分離定理:歐式空間情形
凸集的比較好的性質之一就是所謂的凸集分離定理,它告訴我們,可以選取一個超平面來分離兩個不相交的凸集合!我們以后也會看到這個定理在凸優化問題中的應用,例如Slater條件。
凸集分離定理(歐氏空間情形):設集合\(S_{1}\),\(S_{2}\)是\(\mathbb{R}^{n}\)(\(n\geq 1\))中的兩個不相交的非空凸集,則存在一個超平面分離\(S_{1}\),\(S_{2}\),既存在\(v\in \mathbb{R}^{n}\),\(v\neq 0\)以及\(b\in\mathbb{R}\) 使得:
\begin{equation}v\cdot x+b\geq 0,\end{equation} 對任意 \(x\in S_{1},\) 且:
\begin{equation}v\cdot x+b\leq 0,\end{equation} 對任意 \(x\in S_{2}\).
證明:
由\(S_{1}\),\(S_{2}\)為不相交凸集容易驗證集合:\(S_{1}-S_{2}\triangleq\lbrace x-y\mid x\in S_{1}, y\in S_{2}\rbrace\) 為不包含 \(0\) 的凸集,於是我們只需要證明,存在\(v\in\mathbb{R}^{n}\),\(v\neq 0\) 使得 對任意的\(x\in S_{1}-S_{2}\), 有:\(v\cdot x\geq 0\), 因為這時對任意的\(x\in S_{1}\), \(y\in S_{2}\), 則\(x-y\in S_{1}-S_{2}\), \(v\cdot(x-y)=v\cdot x-v\cdot y\geq 0\), 於是我們令\(b\triangleq -\sup_{y\in S_{2}}\lbrace v\cdot y\rbrace\), 此時\(v\), \(b\)正好滿足上述不等式(1),(2)。
因此不妨先證明一下以下的引理:
引理1: 設 \(S\) 是\(\mathbb{R}^{n}\)的一個閉凸子集, \(0\)為不屬於 集合\(S\)內部的點,則存在\(v\in\mathbb{R}^{n}\), \(v\neq 0\), s.t. \(v\cdot y\geq 0\), 對任意\(y\in S\).
注意到,如果以上引理1成立,則這時候\(S\triangleq \overline{S_{1}-S_{2}}\)是閉凸集, 並且由於\(0\notin S1-S2\), 由凸集的性質容易知道 \(0\)不屬於\(S\)的內部,於是由以上引理1可以找到相應的\(v\in\mathbb{R}^{n}\)使原命題成立,於是我們只需要證明以上引理.
引理1的證明:首先我們證明 \(0\notin S\)的情形。這時由於 \(S\) 是閉集,存在\(x^{\ast}\in S\) 使得:(1)\(\Vert x^{\ast}\Vert=\inf_{y\in S}\lbrace\Vert y\Vert\rbrace\). 我們斷定這時候\(x^{\ast}\cdot y\geq 0\), 對任意\(y\in S\).否則存在\(y_{0}\in S\), 使得\(x^{\ast}\cdot y_{0}<0\), 這時候我們令:$$t=\frac{y_{0}\cdot(y_{0}-x^{\ast})}{\Vert y_{0}-x^{\ast}\Vert^{2}}$$, 由\(y_{0}\cdot x^{\ast}<0\)容易知\(t\in (0,1).\) 我們令:
則\(z\in S\) 並且:
於是:
這與(1)相矛盾,於是情形\(0\notin S\)得證。
現在我們考慮\(0\in \partial S\)的情形,這時存在序列\(x_{k}\notin S\rightarrow 0\), 當\(k\rightarrow \infty\)。由以上已經證明的情況可知,存在\(v_{k}\in \mathbb{R}^{n}\), \(\Vert v_{k}\Vert=1\) 使得 對任意的\(y\in S\)有\(v_{k}\cdot (y-x_{k})\geq 0\). 而由於序列\(v_{k}\) 有界,於是必然存在一收斂子列\(v_{k_{i}}\)收斂到某\(v\in\mathbb{R}^{n}\), 這時\(\Vert v\Vert=1\)且對任意的\(y\in S\)我們有\(v_{k_{i}}\cdot (y-x_{k_{i}})\geq 0\),我們令\(k\rightarrow \infty\)自然可以得到\(v\cdot y\geq 0\),此時引理得證, 定理證畢。