引用：http://www.cnblogs.com/pinard/p/6018889.html 最近在学习机器学习的相关框架，看到最小角回归理解了一下： 在介绍最小角回归算法前，我们需要了解两个相关算法，一个是前向选择算法（Foward Selection），一个是前向梯度算法（Forward ...

最近开始看Elements of Statistical Learning， 今天的内容是线性模型（第三章。。这本书东西非常多，不知道何年何月才能读完了），主要是在看变量选择。感觉变量选择这一块领域非常有意思，而大三那门回归分析只是学了一些皮毛而已。过两天有空，记一些ESL这本书里讲的各种变量选择 ...

　　本文主要使用了对数几率回归法与线性判别法（ＬＤＡ）对数据集（西瓜３.０）进行分类。其中在对数几率回归法中，求解最优权重Ｗ时，分别使用梯度下降法，随机梯度下降与牛顿法。 代码如下： View Code 结果： 牛顿法： 迭代 5步：w ...

普通最小二乘法 理论： 损失函数： 权重计算： 1、对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。 2、当各项是相关的，且设计矩阵 X的各列近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差 ...

代码实现： 结果： 总结：各回归算法在相同的测试数据中表现差距很多，且算法内的配置参数调整对自身算法的效果影响也是巨大的， 　　因此合理挑选合适的算法和配置合适的配置参数是使用算法的关键！ ...

一、逻辑回归 1) Classification(分类) 分类问题举例： 邮件：垃圾邮件/非垃圾邮件？ 在线交易：是否欺诈（是/否）？ 肿瘤：恶性/良性？ 以上问题可以称之为二分类问题，可以用如下形式定义： 其中0称之为负例，1称之为正例。 对于多分类问题 ...

回归与梯度下降 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归 ...

通过学习斯坦福公开课的线性规划和梯度下降，参考他人代码自己做了测试，写了个类以后有时间再去扩展，代码注释以后再加，作业好多： 　　　　　　　　　　图1. 迭代过程中的误差cost ...