本系列文檔是根據小象學院-鄒博主講的《機器學習》自己做的筆記。感覺講得很好，公式推理通俗易懂。是學習機器學習的不錯的選擇。當時花了幾百大洋買的。覺得不能浪費，應該不止一遍的研習。禁止轉載，嚴禁用於商業用途。廢話不多說了，開始整理筆記。
首先從凸集及其性質開始，鄒博老師在課程里講得很詳細，筆記里就只記錄我認為的重點了。
直線的向量表達：
過兩定點A(5,1)。B（2,3）
還能推廣到高維：三位平面，超平面。
仿射集 定義：通過集合C中任意兩個不同點的直線仍然在集合C內，則稱集合C為仿射集。
像直線、平面、超平面都是仿射集。
凸集 定義：集合C內任意兩點間的線段均在集合C內，則稱集合C為凸集。
還有K個點的推廣版本：
由上面的定義可以知道，仿射集必然是凸集，但凸集不一定是仿射集。
超平面和半空間：
2x+3y-9=0表示直線，可以寫成向量的形式
推廣開來，超平面可以這樣定義：
將等式 寫成不等式就得到半空間的概念：
下面是二維空間里的例子，當然可以推廣到高維的空間里。
下面了解幾個保持凸性的運算：
1.集合交算。例如：半空間的交
2.仿射變換
f=Ax+b的形式，稱函數是仿射的：線性函數加常數的形式。
3.透視變換
4.投射變換
分割超平面：設C和D為兩個不相交的凸集，則存在超平面P可以將C和D分離。
支撐超平面：
如何定義兩個集合的“最優”分割超平面?
支撐向量
支持向量機的內容。
*********************************************分割線**************************************************
凸函數定義：
前面表示是底下部分，后面是上面的直線.
直觀的理解就是：線段位於圖像上方就是凸函數。
Jensen不等式：函數f是凸函數（基本條件）。
則有基本Jensen不等式：
k個
的版本
離散的情況下成立，連續的情況下也成立。
可以看成期望的形式如下：
Jensen不等式幾乎是所有不等式的基礎。
保持函數凸性的算子：
凸函數的非負加權和：
凸函數與仿射函數的復合：
凸函數的逐點最大值、逐點上確界：
N條直線（直線是凸的，直線既是凸的又是凹的），在每個x處取得這些直線的最大點，則構成的新函數是凸函數；
當然，N條直線逐點求下界，得到的新函數是凹函數。
********************************************************分割線*********************************************************
凸優化
優化問題的基本形式：
凸優化問題的基本形式：
凸優化問題的重要性質：
凸優化問題的可行域為凸集
凸優化問題的局部最優即為全局最優解。
對偶問題：
思路整理：
我們的目的：
然后約束條件有：
這樣，由④的最大值可以求的①的最小值，達到目的。
並且
要想保證取等號，則需要KKT條件。
只做學習用途。歡迎討論及指正！
可以在新浪微博@徐卜靈 找到我哦。