机器学习之线性模型

概念储备：　

　　（The least square method）和（least square error）

　　狭义的最小二乘方法，是线性假设下的一种有闭式解的参数 求解方法，最终结果为全局最优；
　　梯度下降法，是假设条件更为广泛（无约束）的，一种通过迭代更新来逐步进行的参数 优化方法，最终结果为局部最优；
　　广义的最小二乘准则，是一种对于偏差程度的评估准则，与上两者不同。

数值解(numerical solution)是在特定条件下通过近似计算得出来的一个数值，是采用某种计算方法,如有限元的方法, 数值逼近,插值的方法, 得到的解.别人只能利用数值计算的结果

解析解(analytical solution)就是给出解的具体函数形式，从解的表达式中就可以算出任何对应值，就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题.所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。解析解为一封闭形式〈closed-form〉的函数，因此对任一独立变量，带入解析函数求得正确的相依变量。因此，解析解也被称为闭式解（closed-form solution）

3.1基本形式

　　对于给定d个属性描述的示例x=（x1，x2，......，xd）,通过属性的线性组合来进行预测。一般的写法如下：

　　因此，线性模型具有很好的解释性（understandability，comprehensibility），参数w代表每个属性在回归过程中的重要程度。

3.2 线性回归

　　对于线性回归，我们先考虑简单的问题，输入的属性数目只有一个。

　　　　对于线性回归而言，

　　均方误差有非常好的几何意义，它对应了常用的欧几里得距离（欧式距离），

　　基于均方误差最小化来进行模型求解的方法称“最小二乘法”

　　在求解时，我们考虑XTX可能不满秩，因此将对应多个接都能使得均方误差最小化，选择哪个解作为输出，将由学习算法的偏好决定，最常见的方法是引入正则化。

　　广义线性回归，其中函数g（.）称为“联系函数”

3.3 对数几率回归（逻辑回归）

　　利用回归来实现分类，只需要找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。我们利用对数几率函数代替单位阶跃函数，如下：

　　对数几率函数是一种“Sigmoid函数”，在神经网络中扮演重要的作用。将输出值转化为接近0或者1的y值，

　　然后将上面这式子进行变形

　　若将y看做是样本x作为正例的可能性，则1-y是其作为反例可能性，两者之间的比值为y/1-y称为几率（odds），对几率取对数则得到“对数几率”。

　　逻辑回归不仅能够能够实现对任务进行分类，同时可以得到近似概率预测

　　

　　利用极大似然法（maximum likelihood method）进行估计w和b。

　　

　　上述的函数是关于B的高阶可导函数，根据凸优化理论，经典的数值优化算法如梯度下降法（gradient descent method）、牛顿法（Newton method）可求得最优解。

　　协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。