1. 在深度學習中，涉及到大量矩陣相乘，現在需要計算三個稠密矩陣A,B,C的乘積ABC，假設三個矩陣的尺寸分別為m*n,n*p,p*q,且m<n<p<q，以下計算順序效率最高的是：
(AB)C
解析：首先，根據簡單的矩陣知識，因為 A*B ， A 的列數必須和 B 的行數相等。因此，可以排除C 選項。
m*n 的矩陣 A 和 n*p 的矩陣 B 的乘積，得到 m*p 的矩陣 A*B ，而 A*B 的每個元素需要 n 次乘法和 n-1 次加法，忽略加法，共需要 m*n*p 次乘法運算。
同樣情況分析 A*B 之后再乘以 C 時的情況，共需要 m*p*q次乘法運算。因此，A 選項的(AB)C 需要的乘法次數是 m*n*p+m*p*q 。
同理分析， B 選項的 A (BC)需要的乘法次數是 n*p*q+m*n*q 。由於 m*n*p< m*n*q ， m*p*q<n*p*q。
2. 常見的判別式模型有：
- Logistic regression
- Linear discriminant analysis
- Supportvector machines
- Boosting
- Conditional random fields
- Linear regression
- Neural networks
常見的生成式模型有:
- Gaussian mixture model and othertypes of mixture model
- Hidden Markov model
- NaiveBayes
- AODE
- Latent Dirichlet allocation
- Restricted Boltzmann Machine
3.概率質量函數 (probability mass function，PMF)是離散隨機變量在各特定取值上的概率。
概率密度函數（p robability density function，PDF ）是對 連續隨機變量 定義的，本身不是概率，只有對連續隨機變量的取值進行積分后才是概率。
累積分布函數（cumulative distribution function，CDF） 能完整描述一個實數隨機變量X的概率分布，是概率密度函數的積分。對於所有實數x ，與pdf相對。
4. 在統計模式識分類問題中，當先驗概率未知時，可以使用
N-P判決
最小最大損失准則
解析：在貝葉斯決策中，對於先驗概率p(y)，分為已知和未知兩種情況。
1. p(y)已知，直接使用貝葉斯公式求后驗概率即可；
2. p(y)未知，可以使用聶曼-皮爾遜決策(N-P決策)來計算決策面。
而最大最小損失規則主要就是使用解決最小損失規則時先驗概率未知或難以計算的問題的。
5. CRF模型對於HMM和MEMM模型的優勢：
CRF優點：特征靈活，可容納較多的上下文信息，能夠做到全局最優；
CRF缺點：訓練代價大，復雜度高，速度慢；
1）CRF沒有HMM那樣嚴格的獨立性假設條件，因而可以容納任意的上下文信息。特征設計靈活（與ME一樣）-------- 與HMM比較
2）同時，由於CRF計算全局最優輸出節點的條件概率，它還克服了最大熵馬爾可夫模型標記偏置（Label-bias）的缺點。 --------- 與MEMM比較
3）CRF是在給定需要標記的觀察序列的條件下，計算整個標記序列的聯合概率分布，而不是在給定當前狀態條件下，定義下一個狀態的狀態分；--------- 與ME比較
2）同時，由於CRF計算全局最優輸出節點的條件概率，它還克服了最大熵馬爾可夫模型標記偏置（Label-bias）的缺點。 --------- 與MEMM比較
3）CRF是在給定需要標記的觀察序列的條件下，計算整個標記序列的聯合概率分布，而不是在給定當前狀態條件下，定義下一個狀態的狀態分；--------- 與ME比較
6. 在HMM中,如果已知觀察序列和產生觀察序列的狀態序列,那么可用以下哪種方法直接進行參數估計：
極大似然估計。
- EM算法： 只有觀測序列，無狀態序列時來學習模型參數，即Baum-Welch算法
- 維特比算法： 用動態規划解決HMM的預測問題，不是參數估計
- 前向后向：用來算概率
- 極大似然估計：即觀測序列和相應的狀態序列都存在時的監督學習算法，用來估計參數
在給定觀測序列和對應的狀態序列估計模型參數，可以利用極大似然發估計。
如果給定觀測序列，沒有對應的狀態序列，才用EM，將狀態序列看不不可測的隱數據。