如果需要代做算法，可以联系我...博客右侧有联系方式。 一、相关概念 　　1.梯度下降 　　由于Z= X*theta - y是列向量，所以Z'*Z就是平方和连加，就是2范数；如果Z是矩阵呢，那么Z'*Z的对角线就是Z矩阵每列的2范数。 　　2.正规方程（Normal ...

前一阵面试被问到逻辑回归的问题，没答好，现在对这一部分做个相对彻底的总结。部分内容来源于Andrew Ng的课。 逻辑回归主要解决二分类或者多分类问题，是用回归的思路，套上一个logistic函数， ...

从上个月专攻机器学习，从本篇开始，我会陆续写机器学习的内容，都是我的学习笔记。 问题 梯度下降算法用于求数学方程的极大值极小值问题，这篇文章讲解如何利用梯度下降算法求解方程 \(x^5+e^x+3x−3=0\) 的根； 方法 首先来解决第一个问题，从方程的形式我们就能初步判断，它很可能 ...

机器学习的本质是建立优化模型，通过优化方法，不断迭代参数向量，找到使目标函数最优的参数向量。最终建立模型 通常用到的优化方法：梯度下降方法、牛顿法、拟牛顿法等。这些优化方法的本质就是在更新参数。 一、梯度下降法 　　0、梯度下降的思想 ·　　　　通过搜索方向和步长来对参数进行更新。其中搜索 ...

接着上文——机器学习基础——梯度下降法（Gradient Descent）往下讲。这次我们主要用matlab来实现更一般化的梯度下降法。由上文中的几个变量到多个变量。改变算法的思路，使用矩阵来进行计算。同时对算法的优化和调参进行总结。即特征缩放（feature scaling）问题和学习速率 ...

参考知乎：https://www.zhihu.com/question/19723347 这篇博文讲牛顿法讲的非常好：http://blog.csdn.net/itplus/article/details/21896453 梯度下降 ...

正规方程 Normal Equation 前几篇博客介绍了一些梯度下降的有用技巧，特征缩放（详见http://blog.csdn.net/u012328159/article/details/51030366）和学习率（详见http://blog.csdn.net ...

梯度下降法先随机给出参数的一组值，然后更新参数，使每次更新后的结构都能够让损失函数变小，最终达到最小即可。在梯度下降法中，目标函数其实可以看做是参数的函数，因为给出了样本输入和输出值后，目标函数就只剩下参数部分了，这时可以把参数看做是自变量，则目标函数变成参数的函数了。梯度下降每次都是更新每个参数 ...