機器學習基礎 brief description

1. FM: 解決特征稀疏情形下，特征如何組合的問題。對特征進行組合，在線性模型的基礎上，加上特征的二階交叉項。直接求解會由於二階交叉沒出現過，你就學不了，多每個特征引入輔助向量，分解之后可以使用sgd求解https://www.jianshu.com/p/152ae633fb00
2. FFM：field-aware 在FM的基礎上，引入field的概念，同一個category的特征經過one-hot編碼生成的數值特征都可以放到同一個field，然后特征交叉的時候，每個特征不止有一個隱向量，而是有多少個field就有多少個隱向量，做特征交叉的時候，乘的向量是對應的特征所屬field上的隱向量。FM可以看出FFM只有一個field的特例。假設樣本有n個特征，屬於f個field，那么二次項有nf個隱向量，若隱向量維度為k，則有nfk個二次參數。另外，由於FFM的二次項不能化簡，其預測復雜度是0(kn^2) https://www.jianshu.com/p/781cde3d5f3d
3. DeepFM: 包括deep部分和FM部分。分別負責高階交叉和低階交叉特征的提取，兩部分共享同樣的輸入。輸入的稀疏特征分為不同的field后，得到其dense embedding，之后deep和FM部分並列。https://www.jianshu.com/p/bf07f73986a6
4. tensorflow分布式訓練：https://www.jianshu.com/p/7fddb580ab65https://blog.csdn.net/luodongri/article/details/52596780
   1. 分布式訓練策略：
      1. 模型並行與數據並行。模型並行相當於模型的不同部分被拆分到了不同的設備上，在模型比較大的時候，單個設備顯存不夠的時候使用。由於模型並行需要依賴各設備都執行結束，效率很低，一般不使用。
      2. 數據並行：是指在多個設備上防止相同的模型，采用不同的訓練樣本來訓練。又分為同步訓練和異步訓練。同步訓練每次更新需要等所有的worker都執行結束，異步更新誰好了就自己去更新。效率問題一般才有異步更新。
   2. 分布式訓練架構：
   1. parameter架構：ps存放參數，負責參數的更新和分發，worker負責計算。worker數量太多時，ps的網絡帶寬成為系統的瓶頸。
   2. Ring AllReduce架構：所有節點都是worker，帶寬利用率高。（百度提出的)
   3. 分布式tensorflow: 高級API Estimator
5. 機器學習中防止過擬合的方法：https://zhuanlan.zhihu.com/p/30951658
6. BN:https://blog.csdn.net/yimingsilence/article/details/80322926