Computer Science Theory for the Information Age-3: 高維空間中的高斯分布和隨機投影
高維空間中的高斯分布和隨機投影 （一）在高維球體表面產生均勻分布點的方法 我們來考慮一個采樣問題，就是怎樣在高維單位球體的表面上均勻的采樣。首先，考慮二維的情況，就是在球形的周長上采樣。我們考慮如下方法：第一，先在一個包含該圓形的外接正方形內均勻的采樣；第二，將采樣到的點投影到圓形 ...
原文：Computer Science Theory for the Information Age-5: 學習理論——VC維的定義以及一些例子
學習理論 VC維的定義以及一些例子 本文主要介紹一些學習理論上的東西。首先，我們得明確，從訓練集上學習出來的分類器的最終目標是用於預測未知的樣本，那么我們在訓練的時候該用多少的樣本才能使產生的分類器的效果盡可能的好呢 這些就是VC 理論要解決的問題。在介紹這個理論之前，我們得先介紹一個比較抽象的概念 VC維。這個指標是用與衡量假設空間的復雜程度。為了能更好的理解VC維，本文還會舉一些例子來加深理解 ...
2014-05-02 19:45 0 4086 推薦指數：
相關推薦
Computer Science Theory for the Information Age-1: 高維空間中的球體
高維空間中的球體 注：此系列隨筆是我在閱讀圖靈獎獲得者John Hopcroft的最新書籍<Computer Science Theory for the Information Age>所作的筆記。其中我只詳細讀了第二（高維空間）、三（隨機圖）、六（VC理論）章 ...
機器學習總論：統計學習理論之隨機熵、vc熵、退火VC熵、生長函數、VC維定義理解
一、定義： 有n個訓練樣本Zn={zi(xi,yi), i=1,2,...,n},定義N(Zn)為函數集中的函數能對樣本分類的數目。 解釋：xi 代表特征向量如d維特征向量，yi代表一個標記如0或1, 因此zi就是對一個特征的標記，Zn中有n個樣本，可能的標記方式2n ...
深度學習理論
前段時間，跟部門同事分享了深度學習相關的一些理論基礎，在此記錄一下。僅供后續學習和復習。 目錄 1、背景及現狀 2、Embeding 3、DNN 4、CNN 5、RNN（LSTM） 6、應用（結合自身的應用案例） （1）情感分析/類目預測（文本分類） （2）NER/POS ...
學科基本結構理論-布魯納學習理論
布魯納認為，學習的實質是一個人把同類事物聯系起來，並把它們組織成賦予它們意義的結構。學習就是認知結構的組織和重新組織。知識的學習就是在學生的頭腦中形成各學科知識的知識結構。簡言之，按照布魯納的觀點，知識的學習就是在學生的頭腦中形成一定的知識結構。這種知識結構是由學科知識中的基本概念、基本思想或原理 ...
機器學習 - 學習理論
（feasibility of learning）？機器學習的學習理論對這些問題作出了解釋。本文以理論 ...
機器學習理論基礎
一、機器學習的概念 1、什么是學習？ --從人的學習說起 --學習理論；從實踐中總結 --在理論上推導；在實踐中檢驗 --通過各種手段獲取知識或技能的過程 2、機器怎么學習？ --處理某個特定的任務，以大量的“經驗”為基礎 ...
【教育心理學】學習理論流派——行為主義學習理論
一般學習理論---行為主義 (一)行為主義： 行為主義學習理論又稱“刺激—反應”理論，行為主義學習理論認為，人類的思維是與外界環境相互作用的結果，即“刺激—反應”，刺激和反應直接的聯接叫做強化。 學習的實質就是通過強化來建立刺激與反應直接的聯結。 （二）對於教師教學的意義 ...