学习理论 VC维的定义以及一些例子 本文主要介绍一些学习理论上的东西。首先，我们得明确，从训练集上学习出来的分类器的最终目标是用于预测未知的样本，那么我们在训练的时候该用多少的样本才能使产生的分类器的效果尽可能的好呢 这些就是VC 理论要解决的问题。在介绍这个理论之前，我们得先介绍一个比较抽象的概念 VC维。这个指标是用与衡量假设空间的复杂程度。为了能更好的理解VC维，本文还会举一些例子来加深理解 ...
2014-05-02 19:45 0 4086 推荐指数：
高维空间中的高斯分布和随机投影 （一）在高维球体表面产生均匀分布点的方法 我们来考虑一个采样问题，就是怎样在高维单位球体的表面上均匀的采样。首先，考虑二维的情况，就是在球形的周长上采样。我们考虑如下方法：第一，先在一个包含该圆形的外接正方形内均匀的采样；第二，将采样到的点投影到圆形 ...
高维空间中的球体 注：此系列随笔是我在阅读图灵奖获得者John Hopcroft的最新书籍<Computer Science Theory for the Information Age>所作的笔记。其中我只详细读了第二（高维空间）、三（随机图）、六（VC理论）章 ...
一、定义： 有n个训练样本Zn={zi(xi,yi), i=1,2,...,n},定义N(Zn)为函数集中的函数能对样本分类的数目。 解释：xi 代表特征向量如d维特征向量，yi代表一个标记如0或1, 因此zi就是对一个特征的标记，Zn中有n个样本，可能的标记方式2n ...
前段时间，跟部门同事分享了深度学习相关的一些理论基础，在此记录一下。仅供后续学习和复习。 目录 1、背景及现状 2、Embeding 3、DNN 4、CNN 5、RNN（LSTM） 6、应用（结合自身的应用案例） （1）情感分析/类目预测（文本分类） （2）NER/POS ...
布鲁纳认为，学习的实质是一个人把同类事物联系起来，并把它们组织成赋予它们意义的结构。学习就是认知结构的组织和重新组织。知识的学习就是在学生的头脑中形成各学科知识的知识结构。简言之，按照布鲁纳的观点，知识的学习就是在学生的头脑中形成一定的知识结构。这种知识结构是由学科知识中的基本概念、基本思想或原理 ...
（feasibility of learning）？机器学习的学习理论对这些问题作出了解释。本文以理论 ...
一、机器学习的概念 1、什么是学习？ --从人的学习说起 --学习理论；从实践中总结 --在理论上推导；在实践中检验 --通过各种手段获取知识或技能的过程 2、机器怎么学习？ --处理某个特定的任务，以大量的“经验”为基础 ...
一般学习理论---行为主义 (一)行为主义： 行为主义学习理论又称“刺激—反应”理论，行为主义学习理论认为，人类的思维是与外界环境相互作用的结果，即“刺激—反应”，刺激和反应直接的联接叫做强化。 学习的实质就是通过强化来建立刺激与反应直接的联结。 （二）对于教师教学的意义 ...
