凸函数定义
\[\forall x_1,x_2 \in D(f), 0\le\theta\le1\\ f(\theta\cdot x_1+(1-\theta)\cdot x_2) \le f(\theta\cdot x_1)+ f((1-\theta)\cdot x_2) \]
同理，凹函数则是\(\ge\)。凸函数和凹函数均为凸集
凸函数有最小值，凹函数有最大值，把凹函数加个负号也就转换成了凸函数
上述凸函数和凹函数都属于凸问题，与非凸问题相对
凸函数的一阶特征 First Order Condition for Convexity
设\(S \in R^n\)为非空开凸集，\(f\)满足一阶连续可导且为\(S\)上的凸函数,则满足
\[\forall x,y \in S, \ f(y) \ge f(x)+\nabla f(x)^T(y-x) \]
从图像上直观来看
这个函数上的任意一点，函数的值都大于或者等于函数在这点的一阶近似（first-order approximation）
证明
凸函数的二阶条件
\(f:R^n\rightarrow R\)二阶可微,则\(f\)为凸函数 \(\Longleftrightarrow\) \(domf\)为凸集，且\(\nabla f^2(x) \ge 0, \quad \forall x \in {\rm dom}f\)
也就是说二阶Hessian是半正定的