稀疏表示與字典學習
當樣本數據是一個稀疏矩陣時，對學習任務來說會有不少的好處，例如很多問題變得線性可分，儲存更為高效等。這便是稀疏表示與字典學習的基本出發點。
稀疏矩陣即矩陣的每一行/列中都包含了大量的零元素，且這些零元素沒有出現在同一行/列，對於一個給定的稠密矩陣，若我們能通過某種方法找到其合適的稀疏表示，則可以使得學習任務更加簡單高效，我們稱之為稀疏編碼（sparse coding）或字典學習（dictionary learning）。
給定一個數據集，字典學習/稀疏編碼指的便是通過一個字典將原數據轉化為稀疏表示，因此最終的目標就是求得字典矩陣B及稀疏表示α，書中使用變量交替優化的策略能較好地求得解，再次不進行深入。
壓縮感知
與特征選擇、稀疏表示不同的是：壓縮感知關注的是通過欠采樣信息來恢復全部信息。在實際問題中，為了方便傳輸和存儲，我們一般將數字信息進行壓縮，這樣就有可能損失部分信息，如何根據已有的信息來重構出全部信號，這便是壓縮感知的來歷，壓縮感知的前提是已知的信息具有稀疏表示。下面是關於壓縮感知的一些背景：
參考自：https://blog.csdn.net/u011826404/article/details/72860607
詳細版請參考：https://blog.csdn.net/baidu_38060633/article/details/70338345