前段时间，跟部门同事分享了深度学习相关的一些理论基础，在此记录一下。仅供后续学习和复习。 目录 1、背景及现状 2、Embeding 3、DNN 4、CNN 5、RNN（LSTM） 6、应用（结合自身的应用案例） （1）情感分析/类目预测（文本分类） （2）NER/POS ...

（feasibility of learning）？机器学习的学习理论对这些问题作出了解释。本文以理论 ...

一、机器学习的概念 　　1、什么是学习？ 　　　　--从人的学习说起 　　　　--学习理论；从实践中总结 　　　　--在理论上推导；在实践中检验 　　　　--通过各种手段获取知识或技能的过程 　　2、机器怎么学习？ 　　　　--处理某个特定的任务，以大量的“经验”为基础 ...

一般学习理论---行为主义 (一)行为主义： 行为主义学习理论又称“刺激—反应”理论，行为主义学习理论认为，人类的思维是与外界环境相互作用的结果，即“刺激—反应”，刺激和反应直接的联接叫做强化。 学习的实质就是通过强化来建立刺激与反应直接的联结。 （二）对于教师教学的意义 ...

一、概述 我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机器学习涉及到的一些最常用的的数学知识。 二、线性代数 2-1、标量 一个标量 ...

我们在推导机器学习公式时，常常会用到各种各样的对数，但是奇怪的是--我们往往会忽略对数的底数是谁，不管是2，e，10等。 原因在于，lnx，log2x，log10x，之间是存在常数倍关系。 回顾学过的数学知识，换底公式如下: 　　　　　　　　　　　　　　　　 则有 ...

独立和互斥的区别在此省略，比较好理解。 首先我们看协方差的定义: 　　　　　　　　　　　　Cov(X, Y) = E{[X - E(X)][Y - E(Y)]}. 协方差的性质有: 　　 ...

学习理论——VC维的定义以及一些例子 本文主要介绍一些学习理论上的东西。首先，我们得明确，从训练集上学习出来的分类器的最终目标是用于预测未知的样本，那么我们在训练的时候该用多少的样本才能使产生的分类器的效果尽可能的好呢？这些就是VC-理论要解决的问题。在介绍这个理论之前，我们得先介绍一个 ...