概念储备：　 　　（The least square method）和（least square error） 　　狭义的最小二乘方法，是线性假设下的一种有闭式解的参数 求解方法，最终结果为全局最优； 　　梯度下降法，是假设条件更为广泛（无约束）的，一种通过迭代 ...

基本形式: 　　d个属性描述的示例x=（x1;x2;...;xd）,xi是x在第i个属性上的取值。线性模型试图学一个通过属性的线性组合进行预测的函数: 　　f(x)=w1x1+w2x2+...+wdxd+b， 　　向量形式为 　　f(x)=wTx+b 　　w=(w1;w2;...;wd ...

1. 线性回归 什么是回归？ 从大量的函数结果和自变量反推回函数表达式的过程就是回归。线性回归是利用数理统计中回归分析来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 一元线性回归： 只包括一个自变量（）和一个因变量（），且二者的关系可用一条直线近似表示，这种回归分析称为 ...

一、基本形式 给定由d个属性描述的示例x=(x1, x2, ..., xd)，则线性模型（linear mdel）的预测函数f(x)是属性的线性组合，用向量形式表示为f(x) = wTx + b。 线性模型蕴涵了机器学习中一些重要的基本思想。通过在线性模型中引入层次结构或高维映射，就可以 ...

线性回归, 是回归分析中的一种, 其表示自变量与因变量之间存在线性关系. 回归分析是从数据出发, 考察变量之间的数量关系, 并通过一定的数学关系式将这种关系描述出来, 再通过关系式来估计某个变量的取值, 同时给出该估计的可靠程度. 下面我们从一元线性回归开始说起. 1. 一元线性回归 在回归 ...

　　对数线性模型是无向图中经常使用的一种模型。其利用特征函数以及参数的方式对势函数进行定义，可获得较好的效果。在之前有向图的学习中，我们发现可以利用d-seperet，充分统计，狄利克雷函数等方式来很优雅的获得参数估计的解析解。但是在无向图中，这些优越的条件都不复存在。而无向图在现实条件下的使用 ...

　　极大似然估计是利用已知的样本结果，去反推最有可能（最大概率）导致这样结果的参数值，也就是在给定的观测变量下去估计参数值。然而现实中可能存在这样的问题，除了观测变量之外，还存在着未知的隐变量，因为变量未知，因此无法直接通过最大似然估计直接求参数值。EM算法是一种迭代算法，用于含有隐变量的概率模型 ...

的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分 ...