第一階段 機器學習基礎與凸優化
【核心知識點】
- KNN，Weighted KNN、近似KNN
- KD樹，近似KD樹、哈希算法、LSH
- 嶺回歸、LASSO、ElasticNet
- 正則：L1, L2, L-inifity Norm
- LR、GD、SGD、小批量SGD
- 凸集，凸函數、判定凸函數
- LP、QP、ILP、SDP問題
- Duality，Strong Duality、KKT條件
- 帶條件/無條件優化問題、Projected GD
- 平滑函數、Convergence Analysis
第二階段 SVM與集成模型
【核心知識點】
- Max-Margin與線性SVM構建
- Slack Variable以及條件的松弛
- SVM的Dual、Kernelized SVM
- Kernel Functions, Mercer 定理
- Kernelized LR/KNN/K-Means/PCA
- Bagging, Boosting, Stacking
- 信息論與決策樹- 隨機森林，完全隨機森林
- 基於殘差的提升樹訓練思想- GBDT與XGBoost
- 集成不同類型的模型
- VC理論， PAC Learning
第三階段 無監督學習與序列模型
【核心知識點】
- K-means、GMM以及EM
- 層次聚類，DCSCAN，Spectral聚類算法
- 隱變量與隱變量模型、Partition函數
- 條件獨立、D-Separation、Markov性質
- HMM以及基於Viterbi的Decoding
- Forward/Backward算法
- 基於EM算法的參數估計
- 有向圖與無向圖模型區別
- Log-Linear Model，邏輯回歸，特征函數
- MEMM與Label Bias問題
- Linear CRF以及參數估計
第四階段 深度學習
【核心知識點】
- 神經網絡與激活函數
- BP算法、卷積層、Pooling層、全連接層
- 卷積神經網絡、常用的CNN結構
- Dropout與Batch Normalization
- SGD、Adam、Adagrad算法
- RNN與梯度消失、LSTM與GRU
- Seq2Seq模型與注意力機制
- Word2Vec, Elmo, Bert, XLNet
- 深度學習中的調參技術
- 深度學習與圖嵌入（Graph Embedding）
- Translating Embedding (TransE)
- Node2Vec
- Graph Convolutional Network
- Graph Neural Network
- Dynamic Graph Embedding
【部分案例講解】
- 基於Seq2Seq和注意力機制的機器翻譯
- 基於TransE和GCN的知識圖譜推理
- 基於CNN的人臉關鍵點檢測
第五階段 推薦系統與在線學習
. 基於內容的推薦算法
. 基於協同過濾的推薦算法
. 矩陣分解
. 基於內容的Gradient Tree
. 基於深度學習的推薦算法
. 冷啟動問題的處理
. Exploration vs Exploitation
. Multi-armed Bandit
. UCB1 algorithm，EXP3 algorithm
. Adversarial Bandit model
. Contexulalized Bandit
. LinUCB
. 使用Gradient Boosting Tree做基於 interaction 與 content的廣告推薦
. 使用深度神經網絡做基於interaction 與 content的推薦
. LinUCB做新聞推薦, 最大化rewards
第六階段 貝葉斯模型
【核心知識點】
. 主題模型（LDA) 以及生成過程
. Dirichlet Distribution, Multinomial Distribution
. 蒙特卡洛與MCMC
. Metropolis Hasting與Gibbs Sampling
. 使用Collapsed Gibbs Sampler求解LDA
. Mean-field variational Inference
. 使用VI求解LDA
. Stochastic Optimization與Bayesian Inference
. 利用SLGD和SVI求解LDA
. 基於分布式計算的貝葉斯模型求解
. 隨機過程與無參模型（non-parametric)
. Chinese Retarant Process
. Stick Breaking Process
. Stochastic Block Model與MMSB
. 基於SGLD與SVI的MMSB求解
. Bayesian Deep Learning模型
. Deep Generative Model
. 基於Bayesian LSTM的文本分析
. 使用無參主題模型做文本分類
. 基於貝葉斯模型實現小數量的圖像識別
第七階段 增強學習與其他前沿主題
【核心知識點】
. Policy Learning
. Deep RL
. Variational Autoencoder(VAE)與求解
. 隱變量的Disentangling
. 圖像的生成以及Disentangling
. 文本的生成以及Disentangling
. Generative Adversial Network(GAN)
. CycleGan
. 深度學習的可解釋性
. Deconvolution與圖像特征的解釋
. Layer-wise Propagation
. Adversial Machine Learning
. Purturbation Analysis
. Fair Learning
【部分案例講解】:
. 基於GAN的圖像生成
. 基於VAE的文本Style Transfer
. 可視化機器翻譯系統