仿射集
定義：通過集合C中任意的兩個不同的點的直線仍然在集合C內，則層集合C為仿射集。
仿射集的例子：直線，平面，超平面
超平面：AX=b
f(x) = 0表示定義在定義域Rn的超平面，令f(x)=Ax-b，則f(x)=0表示“截距”為b的超平面。在三維空間的平面是二維的，四維空間的平面是三維的，n維空間的平面是n-1維的仿射集。
凸集
定義：集合C內的任意取兩點，形成的線段均在集合C內，則稱集合C為凸集。仿射集一定是凸集。
擴展到k個點的時候：
凸集的示例：
凸包
集合C中的所有點的凸組合形成的集合，叫集合的凸包。
凸包是能夠包含集合的最小凸集
示例：
凸函數
y=x**2是凸函數，即函數圖像上方的區域能夠構成凸集。
凸函數示例：
- 凸函數圖像的上方區域，一定是凸集
- 一個函數圖像的上方區域為凸集，則該函數是凸函數
凸集和凸函數能夠一一對應
凸函數的充要條件：如果函數的二階導數存在且大於0，則函數為凸函數（很恆大於0）。反之則不成立，所以不是必要條件。
凸函數的性質：
1.若凸函數的f(x)的定義域domf為凸集，且滿足：
幾何含義：
割線位於函數值的上方
一階可微
若函數f(x)一階可微，則函數f為凸函數，當且僅當f的定義域為凸集，且：
（支撐超平面）
幾何含義：
切線在函數的下方
思考：對於凸函數，其一階taylor近視本質上是該函數的全局下估計，反之，如果一個函數的一階Taylor近視總是超全局下估計，則該函數是凸函數。該不等式說明從一個函數的局部信息，可以得到一定程度上的全局信息。
二階可微
若函數f(x)二階可微，則函數f(x)為凸函數當且僅當dom為凸集，且：
若f是一元函數，上述式子為二階導數大於等於0
若f是多元函數，上述式子表示二階導hessian矩陣半正定
凸函數舉例：指數函數，冪函數（指數大於1或者小於0），負對數函數，負熵函數，范數函數，指數線性函數。
Jensen不等式（函數需為凸函數）
基本的Jensen不等式：
注：當擴展到n元函數時，仍然成立
保持函數凸性質的算子
1.凸函數的非負加權和：f(x) = w1f1(x) + w2f2(x) + w3f3(x)
2.凸函數與仿射函數的復合: f(x) = g(ax+b)
3.凸函數的逐點最大值，逐點上確界: f(x) = max{f1(x), f2(x),........}，f(x) = sup(x,y)
