机器学习理论基础
一、机器学习的概念 1、什么是学习？ --从人的学习说起 --学习理论；从实践中总结 --在理论上推导；在实践中检验 --通过各种手段获取知识或技能的过程 2、机器怎么学习？ --处理某个特定的任务，以大量的“经验”为基础 ...
原文：机器学习 - 学习理论
背景 提及机器学习 Machine Learning ，大多数人的脑海中首先浮现出来的就是各种机器学习的模型策略。当一个问题的数据集 data set 确定后，我们便开始观察数据，处理特征，确定模型。然而，为什么机器学习这个工具可以大概正确地预测数据的目标结果 在某个数据集上的学习是否具有可行性 feasibility of learning 机器学习的学习理论对这些问题作出了解释。本文以理论推导 ...
2017-06-08 10:08 0 2203 推荐指数：
相关推荐
机器学习理论篇:机器学习的数学基础
一、概述 我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机器学习涉及到的一些最常用的的数学知识。 二、线性代数 2-1、标量 一个标量 ...
【机器学习理论】换底公式--以e，2，10为底的对数关系转化
我们在推导机器学习公式时，常常会用到各种各样的对数，但是奇怪的是--我们往往会忽略对数的底数是谁，不管是2，e，10等。 原因在于，lnx，log2x，log10x，之间是存在常数倍关系。 回顾学过的数学知识，换底公式如下: 则有 ...
机器学习理论基础--常用算法思想要点
一、什么是机器学习？简述机器学习的一般过程。 机器学习是通过算法使得机器从大量历史数据中学习规律，从而对新样本做分类或者预测。 一个机器学习过程主要分为三个阶段： （1）训练阶段，训练阶段的主要工作是根据训练数据建立模型。 （2）测试阶段，测试阶段的主要工作是利用验证集 ...
机器学习理论|频率派和贝叶斯派对比
Frequentist VS Bayesian 在机器学习领域分为两个流派，分别是贝叶斯派和频率派。两种学派所基于的理论背景不同，应用场景也不尽相同。本文就以阅读PRML为背景，对学习所悟进行总结。 对于一些问题，比如类似从盒子中抽取小球的经典问题，我们可以通过多次实验的方式来计算频率，并进 ...
深度学习理论
前段时间，跟部门同事分享了深度学习相关的一些理论基础，在此记录一下。仅供后续学习和复习。 目录 1、背景及现状 2、Embeding 3、DNN 4、CNN 5、RNN（LSTM） 6、应用（结合自身的应用案例） （1）情感分析/类目预测（文本分类） （2）NER/POS ...
【机器学习理论】概率论与数理统计--独立和不相关
独立和互斥的区别在此省略，比较好理解。 首先我们看协方差的定义: Cov(X, Y) = E{[X - E(X)][Y - E(Y)]}. 协方差的性质有: ...
斯坦福CS229机器学习课程笔记六：学习理论、模型选择与正则化
稍微了解有监督机器学习的人都会知道，我们先通过训练集训练出模型，然后在测试集上测试模型效果，最后在未知的数据集上部署算法。然而，我们的目标是希望算法在未知的数据集上有很好的分类效果（即最低的泛化误差），为什么训练误差最小的模型对控制泛化误差也会有效呢？这一节关于学习理论的知识就是让大家知其然也知 ...