稀疏矩陣
在矩陣中，若數值為0的元素數目遠遠多於非0元素的數目，並且非0元素分布沒有規律時，則稱該矩陣為稀疏矩陣；與之相反，若非0元素數目占大多數時，則稱該矩陣為稠密矩陣。定義非零元素的總數比上矩陣所有元素的總數為矩陣的稠密度。
就是很稀疏，像程序員的頭發[尷尬]
稀疏編碼
- 稀疏編碼(Sparse Coding)也是一種受哺乳動物視覺系統中簡單細胞感受 野而啟發的模型.
- 稀疏編碼(sparse coding) (Olshausen and Field, 1996) 是一個線性因子模型， 也是一種概率模型，已作為一種無監督特征學習和特征提取機制得到了廣泛研究。
- 嚴格來說，術語 “稀疏 編碼’’ 是指在該模型中推斷 h 值的過程，而 ‘‘稀疏建模’’ 是指設計和學習模型的過 程，但是通常這兩個概念都可以用術語 “稀疏編碼’’ 描述。
- 通常將受 限玻爾茲曼機稱為無向模型，而稀疏編碼則被稱為有向模型。
自編碼器 [Bengio et al., 2007]
Bengio Y, Lamblin P, Popovici D, et al., 2007. Greedy layer-wise training of deep networks[C]// Advances in neural information processing systems. 153-160.
- 自編碼器由一個 編碼器 (encoder)函數和一個 解碼器(decoder)函數組合而成。
- 自編碼器(autoencoder)是神經網絡的一種，經過訓練后能嘗試將輸入復制到 輸出。
- 自編碼器(autoencoder)內部有一個隱藏層 h，可以產生 編碼(code)表示 輸入。
- 該網絡可以看作由兩部分組成:一個由函數 h = f(x) 表示的編碼器和一個生 成重構的解碼器 r = g(h)。
- 輸入的模式和輸出的模式在同一空間，這種模型叫作自聯想模型
- 自聯想模型可以通過前饋神經網絡或者循環神經網絡來實 現，也常稱為自編碼器(Auto-Encoder，AE)
稀疏自編碼器 [Ranzato et al., 2006]
Ranzato M, Poultney C, Chopra S, et al., 2006. Efficient learning of sparse representations with an energy-based model[C]//Proceedings of the 19th International Conference on Neural Informa- tion Processing Systems. MIT Press: 1137-1144.
- 可以認為整個稀疏自編碼器框架是對帶有潛變量的生成模型的近似最大似 然訓練，而不將稀疏懲罰視為復制任務的正則化。
- 稀疏自編碼器一般用來學習特征，以便用於像分類這樣的任務。
去噪自編碼器 [Vincent et al., 2008]
Vincent P, Larochelle H, Bengio Y, et al., 2008. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the International Conference on Machine Learning. 1096-1103.
- 是一種無監督方法
- 用於領域自適應的情感分析
變分自編碼器(Variational AutoEncoder，VAE)[Kingma et al., 2014]
Kingma D P, Welling M, 2014. Auto-encoding variational bayes[C/OL]//Proceedings of 2nd Inter- national Conference on Learning Representations. http://arxiv.org/abs/1312.6114.
- 有向圖模型
- 使用學好的近似推斷，可以純粹地使用基於梯度的方法進行訓練
- 其思想是利用神經網絡來分別建模兩個復雜的條件概率密度 函數.
- 一個優秀 的流形學習算法
