前段時間，跟部門同事分享了深度學習相關的一些理論基礎，在此記錄一下。僅供后續學習和復習。 目錄 1、背景及現狀 2、Embeding 3、DNN 4、CNN 5、RNN（LSTM） 6、應用（結合自身的應用案例） （1）情感分析/類目預測（文本分類） （2）NER/POS ...

（feasibility of learning）？機器學習的學習理論對這些問題作出了解釋。本文以理論 ...

一、機器學習的概念 　　1、什么是學習？ 　　　　--從人的學習說起 　　　　--學習理論；從實踐中總結 　　　　--在理論上推導；在實踐中檢驗 　　　　--通過各種手段獲取知識或技能的過程 　　2、機器怎么學習？ 　　　　--處理某個特定的任務，以大量的“經驗”為基礎 ...

一般學習理論---行為主義 (一)行為主義： 行為主義學習理論又稱“刺激—反應”理論，行為主義學習理論認為，人類的思維是與外界環境相互作用的結果，即“刺激—反應”，刺激和反應直接的聯接叫做強化。 學習的實質就是通過強化來建立刺激與反應直接的聯結。 （二）對於教師教學的意義 ...

一、概述 我們知道，機器學習的特點就是：以計算機為工具和平台，以數據為研究對象，以學習方法為中心；是概率論、線性代數、數值計算、信息論、最優化理論和計算機科學等多個領域的交叉學科。所以本文就先介紹一下機器學習涉及到的一些最常用的的數學知識。 二、線性代數 2-1、標量 一個標量 ...

我們在推導機器學習公式時，常常會用到各種各樣的對數，但是奇怪的是--我們往往會忽略對數的底數是誰，不管是2，e，10等。 原因在於，lnx，log2x，log10x，之間是存在常數倍關系。 回顧學過的數學知識，換底公式如下: 　　　　　　　　　　　　　　　　 則有 ...

獨立和互斥的區別在此省略，比較好理解。 首先我們看協方差的定義: 　　　　　　　　　　　　Cov(X, Y) = E{[X - E(X)][Y - E(Y)]}. 協方差的性質有: 　　 ...

學習理論——VC維的定義以及一些例子 本文主要介紹一些學習理論上的東西。首先，我們得明確，從訓練集上學習出來的分類器的最終目標是用於預測未知的樣本，那么我們在訓練的時候該用多少的樣本才能使產生的分類器的效果盡可能的好呢？這些就是VC-理論要解決的問題。在介紹這個理論之前，我們得先介紹一個 ...