1. 概述
\(\quad\)之前介紹了凸集相關的定義與部分性質,其實不是特別完全,因為單單的幾篇博客是無法把凸集這一塊完全講全的,所以凸集變換這里也只講幾個稍微重要的變換。來捋一下學習的脈絡吧,凸問題由求解變量、約束與目標函數組成,其中變量的可行域必須是凸集。所以下面要介紹的就是涉及到約束和目標函數的凸函數了。至於求解這個以后會說相關的經典算法的。
2. 集合變換:
(1)仿射變換:定義為對於凸集\(X\),進行線性變換\(\{AX+b,X\in R^n,A\in R_{m\times n},b\in R^m\},得到的集合仍舊是凸集\),可以看出集合X在維數變換后仍舊是凸集,通俗地來講,對一個集合進行拉伸和位移不會改變凸性,比如說在上節已經提到的球進行拉伸成橢球,依舊是凸集。
(2)透視變換,假設有集合\(\{[Z,T],T\nleq0,Z\in R^n,T\in R\}\),則經過如下變換:\(\{[Z/T],T\nleq0,Z\in R^n,T\in R\}\)得到的集合仍為凸集。實際上是一種降維操作了,通俗地解釋也可以做到,看一下這張圖:
假設在二維平面上過一點\((x_1,x_2)\)做一條過原點的直線,顯然直線方程為\(x_2x-x_1y=0\),然后做一條\(y=-1\)的直線,它們會交於點\(K(-\frac{x_1}{x_2},-1)\)處。那么透視變換的含義是啥呢?就是將\((x_1,x_2)\)經過原點映射到\(K(-\frac{x_1}{x_2},-1)\)點。實現了一次降維,這樣得到的集合仍舊為凸集。
(3)線性分數函數:對於集合X為凸集,在經過以下變換之后,其結果仍為凸集:$$f(x)=\frac{AX+b}{c^TX+d},dom f={X|c^TX+d\nleq0}$$說明一下,這里是非常常用的變換技巧,因為顯然這個變換是個非線性變換,但是得到的集合卻仍舊是凸集。用到了兩個變換性質,第一就是仿射變換,仿射變換是對凸集進行線性變換后仍舊是凸集,即\(\{AX+b,X\in R^n,A\in R_{m\times n},b\in R^m\}\)。然后又進行了透視變換,即將一個\(R^{n+1}=[Z,T],T\nleq 0\)的凸集,它有一維數據大於0,然后對其Z的數據除以T,進行降維處理得到的仍舊是凸集。
舉個例子:在本科的概率與統計課程中有這樣的例子,兩個隨機變量\(u,v\)的聯合概率\(\rightarrow\)條件概率的映射
聯合概率:\(P_{ij}=P(u=i,v=j)\),條件概率:\(f_{ij}=P(u=i|v=j)=\frac{P_{ij}}{\sum^n_{k=1}P_{kj}}\),其實這個條件映射是一個線性分數映射,大家可以想想看哪個集合充當了X的集合,又是怎樣的變換。這里給出解釋:就是將\([P_{1j},P_{2j},...,P_{nj}]^T\)向量作為X,分母作為向量的求和,分子則是與這樣的向量作了內積:\([0,...,1,...,0]\),只有\(i\)處為1的向量。
3. 凸函數
3.1 定義
如果X為在實數向量空間的凸集。並且有映射\(f:X\rightarrow R\),如果\(f\)被稱為凸,則有$$\forall x_1,x_2\in X,\forall t\in[0,1]: f(tx_1+(1-t)x_2)\leq tf(x_1)+(1-t)f(x_2).$$如果F被稱為嚴格凸,那么有:$$\forall x_1\ne x_2\in X,\forall t\in(0,1): f(tx_1+(1-t)x_2)\ngeq tf(x_1)+(1-t)f(x_2).$$
3.2 保持凸性的操作
和之前介紹的集合變換有相通的地方,但是是對函數映射的操作。
3.2.1取負操作:
當\(f\)為凸函數的時候,\(-f\)為凹函數。
3.2.2非負加權和:
即存在參數向量\(w=[w_1,w_2,...,w_n]\geq0,f_1,f_2...f_n\)為凸的,那么\(w_1f_1+...w_nf_n\)也為凸函數,特殊的情況就是,有限個凸函數的和為凸函數。(也可以拓展到無限和,積分和期望值(存在的話))
3.2.3元素最大值:
有\(\{f_i\}_{i\in I}\)是凸函數的集合。得到新函數\(g(x)=sup_{i\in I}f_i(x)\)仍舊為凸函數,這個性質挺重要的,有以下兩個特殊情況:
(1)若\(f_1,f_2...f_n\)為凸函數,則\(g(x)=max\{f_1(x),f_2(x)...f_n(x)\}\)r仍為凸函數。
(2)若\(f(x,y)\)在以x為自變量時為凸函數,那么\(g(x)=sup_{y\in C}f_i(x)\)也以x為自變量為凸函數,即使C不是凸集。
3.2.4組合函數:
(1)若\(f和g\)是凸函數並且\(g\)在單變量域上不見效,那么\(h(x)=g(f(x))\)也是凸函數。比如當\(g(x)=e^x\)時,\(f\)為凸函數,那么\(e^{f(x)}\)也是凸函數,因為\(e^x\)單調且為凸函數。
(2)經過仿射變換下(具體見2集合變換)的凸函數仍為凸函數。
3.2.5最小化:
若\(f(x,y)\)在\(x,y\)組成的定義域內為凸函數,那么\(g(x)=inf_{y\in C}f(x,y)\)在單變量x上為凸函數,但是要滿足C是凸集,且\(g(x)\neq\infty\)