凸集 Convex Sets

仿射集 Affine Sets

線和線段

線 line

\[x_1 \ne x_2 \in R^n\\\ y=\theta x_1+(1-\theta) x_2 \]

線段 line segment
上述條件當帶有約束條件\(0 \le \theta \le 1\)時,\(y\)是線段

仿射集affine set

\[x_1,x_2 \in C, \theta \in R\\ \theta x_1+(1-\theta)x_2 \in C \]

也就是說,仿射集中任意兩點的線性組合仍然屬於仿射集,注意必須滿足約束條件coefficients sum to one
仿射集一定是凸集

仿射組合affine combination

An affine set contains every affine combination of its points

\[x_1,\cdots,x_k \in C, \theta_1+\cdots,+\theta_k=1\\ \theta_1 x_1+\cdots+\theta_k x_k {\rm is an affine combination} \]

仿射包 affine hull

\({\rm aff} \ C\)是一個仿射包,通俗理解，仿射包就是包含集合\(C\)的最小的仿射集合

\[{\rm aff}C=\{\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n|x_i \in C,\theta_1+\theta_2+\cdots+\theta_n=1\} \]

對任意集合A，增加最少的元素使A變為仿射集B，則仿射集A是B的仿射包，即A是包含B的最小仿射集。
線段的仿射包是包含這條線段的直線，平面多邊形（三角形，正方形等）的仿射包是包含此多邊形的整個平面，仿射集的仿射包是它自身

仿射集的子空間

上述仿射集成立的條件必須有\(\sum_{i=1}^k \theta_i=1\)的約束
那么什么情況下可以去掉該約束呢
從下圖可以看出

• 不過原點的直線(仿射集C)上任取兩點,向量\(x_1,x_2\)的和\(x_1+x_2\)(其實是線性組合\(\alpha \cdot x_1+\beta \cdot x_2,\ \alpha=\beta=1\),此時不滿足\(\sum_{i=1}^k \theta_i=1\)的約束)並不屬於仿射集C
• 但過原點的直線(另一個仿射集)上向量的任意線性組合依然在該仿射集上（因為\(x_1,x_2\)線性相關）

那么貌似有些頭緒了，下面定義

\[V=C-x_0=\{x-x_0|x \in C\} \]

V是C的子空間,這個子空間中向量的任意線性組合依然屬於子空間

\[v_1,v_2 \in C, \ v_1+x_0 \in C, v_2+x_0 \in C\\ {\rm since} \quad \alpha+\beta+(1-\alpha+\beta)=1\\ \alpha v_1+\beta v_2+x_0=\alpha (v_1+x_0)+\beta (v_2+x_0)+(1-\alpha-\beta)x_0 \in C\\ {\rm then} \quad \alpha (v_1+x_0)+\beta (v_2+x_0) \in V\\ \]

因此仿射集\(C\)可以表示為其子空間\(V\)加上一個偏置

\[C=V+x_0=\{v+x_0|v \in V\} \]

即對仿射集C， 首先選出C中任意一個元素，再用C中所有元素都同時減去這個元素，此時得到一個新的集合，這個集合必有一個0元素，這樣得到的新集合就是一個與C相關的子空間。
子空間相當於是基於\(x_0\)做了一個平移，使之必過原點，子空間是仿射集。

相對內部 relative interier

相對內部

\[{\rm relint} \ C={x \in C|B(x,r) \cap \ {\rm aff} C \subseteq C {\rm forsome} r>0} \]

相當於一個不包含邊緣的開集

凸集 Convex Sets

凸集的定義

$$ \forall x_1,x_2 \in C, 0\le\theta\le1\\ \theta\cdot x_1+(1-\theta)\cdot x_2 \in C $$ 也就是說集合中的兩點連成的線段也要在集合中,凸集比仿射集多的限制就是$\theta \in [0,1]$

凸組合 convex combination

\[x_1,\cdots,x_k \in C, \theta_1+\cdots,+\theta_k=1, \theta_i \ge 0\\ \theta_1 x_1+\cdots+\theta_k x_k \ is \ an \ convex \ combination \]

凸包 convex hull

\[{\rm conv}C=\{\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n|x_i \in C,\theta_i \ge 0,\theta_1+\theta_2+\cdots+\theta_n=1\} \]

凸包是包含\(C\)(任意集合,不一定是凸集)的最小凸集
所以凸包就是將非凸集合通過凸組合的定義形式形成一個凸集

凸包的例子如下圖所示：

錐 Cones

錐的定義

Cone 又叫 nonnegative homogeneous

\[\forall x \in C, \theta \ge 0\\ \theta x \in C \]

錐必過原點，如在二維平面中一條以原點作為端點的射線是錐，由多條這樣的射線構成的集合也是錐。
比如：齊次方程組的解是錐

凸錐 convex cone

A set C is a convex cone if it is convex and a cone.

\[\forall x_1,x_2 \in C, \theta_1,\theta_2 \ge 0\\ \theta_1x_1+\theta_2x_2 \in C \]

錐組合 conic combination

\[x_i \in C, \theta_i \ge 0\\ \theta_1 x_1+\cdots+\theta_k x_k \ is \ an \ conic \ combination \]

錐包 conic hull

與前面仿射包和凸包的定義類似,錐包就是所有錐組合的集合

\[\{\theta_1x_1+\cdots+\theta_kx_k|x_i \in C, \theta_i \ge 0\} \]

仿射集、凸集、凸錐

仿射集：\(\sum \theta_i=1\)
凸集：\(\sum \theta_i=1,\theta_i \ge 0\)
凸錐：\(\theta_i \ge 0\)

常見的凸集

The empty set; single point; the whole space \(R^n\)

Any line is affine. If it passes through zero, it is a subspace, hence also a convex cone.

A line segment is convex, but not affine (unless it reduces to a point).

A ray, which has the form \(\{x0 + θv | θ ≥ 0\}\), where \(v \ne 0\), is convex, but not affine. It is a convex cone if its base \(x_0\) is 0.

Any subspace is affine, and a convex cone (hence convex).

\(\forall x_1,x_2 \in C, \theta \in \R \Rightarrow \theta\cdot x_1+(1-\theta)\cdot x_2 \in C\)，那么\(C\)是仿射函數，仿射集是凸集，仿射集的交集也為凸集

超平面 Hyperplanes

超平面是仿射集,凸集

\[\{x | a^Tx=b \} \]

半空間 Halfspace

半空間是凸集,但不是仿射集

\[\{x | a^Tx \ge b \} \]