ML/DL 面試公式系列

公式推導系列

• 線性回歸: 最小二乘, normal equation
• 邏輯回歸: 最大似然損失函數
• SVM: 轉換為對偶問題,軟間隔,核函數,SMO
• EM: 隱變量的后驗概率函數(Q函數,最大化下界)與最大似然估計交替優化
• 損失函數: logistic, softmax, hinge loss (與上面的有重疊)
• 反向傳播: 遞推關系式
• Softmax: Softmax及其損失函數反向傳播

數值計算

• 朴素貝葉斯公式: 用於分類的后驗概率, 假設條件是獨立同分布
• 卷積感受野計算: 孔洞卷積, 卷積反向傳播, 轉置卷積的輸入輸出

其它

• Batch Norm: 原理, 優勢, 實現, 推導, 多卡同步?
• 偏差方差分解: 誤差=方差+偏差+噪聲
• PCA與SVD
• LDA線性判別分析?

涉及到公式原理

• 權重初始化: Xavier/MSRA
• 深度學習優化算法: 參數更新方法

---

寫給自己看

算法導論系列

• 手寫快排: 快排-平均時間復雜度證明, 不難
• 手寫堆排: 拎得清就好
• 手寫歸並: 多路歸並
• 手寫二分: 細節很重要. lower_bound & upper_bound
• 手寫冒泡: 那么簡單? 可以優化嗎?
• 圖論--最大流: Dijikstra,SPFA,Bellman-Ford,Johnson