機器學習之凸優化基礎一


2015-09-09 今天買的凸優化剛到。從今天開始學習一些基礎的概念。不知道2年的時間能不能學會並且解決實際的問題。

 

線性函數需要嚴格滿足等式,而凸函數僅僅需要在a和b取特定值得情況下滿足不等式。因此線性規划問題也是凸優化問題,可以將凸優化看成是線性規划的擴展。

image

 

1.放射集

定義:過集合C內任意兩點的直線均在集合C內,則稱集合C為仿射集。

例子:直線、平面、超平面

2.仿射包

定義:包含集合C的最小仿射集。

image

仿射維數:仿射包的維數。

三角形的仿射維數為2.

線段的仿射維數為1.

球的仿射維數為3.

3.凸集

定義:集合C內任意兩點間的線段均在集合C內,則稱集合C為凸集。

image

image

 

image

 

4.仿射集和凸集的關系

因仿射集的條件比凸集的條件強,所以,仿射集必然是凸集。

5.凸包:

包含集合C的最下凸集叫做集合C的凸包

image

6.錐(Cones)

image

錐的舉例:過原點的射線、射線族、角

 

image

 

7.錐包

image

8.超平面和半空間

超平面:hyperplane

image

image

 

半空間halfspace:

image

image

9.歐式球和橢球

歐式球:

image

橢球:

image

10.范數球和范數錐(歐式空間的推廣)

范數:

image

范數球:

image

范數錐:

image

 

11. 多面體

image

 

image

 

12.保持凸性的運算

集合的交運算

仿射變換:f= Ax+b

image

透視函數變換

線性分式函數變換

image

 

 

image

 

image

image

13.分隔超平面

image

image

支撐向量機用到了分隔超平面

image

image

14.支撐超平面(切面)

image

image

15.凸函數

image

image

倒三角就是指的高維的求導。讀作nabla

二階可微

image

凸函數舉例

image

16. 凸函數與凸集

image

 

 

17. Jensen不等式:若f 是凸函數。其實就是凸函數的定義

 

image

image

 

18.保持函數凸性的算子

image

19.凸函數的逐點最大值

image

image

 

 

 

 

凹函數


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM