變分貝葉斯學習（variational bayesian learning）及重參數技巧（reparameterization trick）
摘要：常規的神經網絡權重是一個確定的值，貝葉斯神經網絡（BNN）中，將權重視為一個概率分布。BNN的優化常常依賴於重參數技巧（reparameterization trick），本文對該優化方法進行概要介紹。 論文地址：http://proceedings.mlr.press/v37 ...
原文：Reparameterization Trick
目錄 Sample is not differentiable Reparameterization trick Too Complex Sample is not differentiable 現在我們得到的不是一個向量，得到的是一個分布，而分布是無法使用梯度下降的 Reparameterization trick Too Complex ...
2019-06-23 16:06 0 1003 推薦指數：
相關推薦
Hashing Trick
本博客已經遷往http://www.kemaswill.com/, 博客園這邊也會繼續更新, 歡迎關注~ 在機器學習領域, kernel trick是一種非常有效的比較兩個樣本(對象)的方法. 給定兩個對象$x_i, x_j \in \mathcal{X}$, 用$k(x_i, x_j ...
「學習筆記」Slope trick
\(\rm{Slope\ trick}\) 並不是一個特別的 \(\rm{algorithm}\)，只是一個朴素維護折線的方式 一類題目中要維護一類特殊的分段函數，滿足函數連續，每段都是一次函數，斜率為整數 從一道ABC題目開始 ABC217H 設 \(dp_{i,j}\) 表示經過前 ...
Slope trick優化dp
適用於一類dp值關於下標的函數是連續函數，分段函數，凸函數，每一段需要是一次函數，需要是整數斜率。常見於一些最小調整代價題，因為經常會有\(|x-y|\)這種典型符合上述要求的函數出現，而且這類dp通 ...
c++的矩陣乘法加速trick
最近讀RNNLM的源代碼，發現其實現矩陣乘法時使用了一個trick，這里描述一下這個trick。 首先是正常版的矩陣乘法（其實是矩陣乘向量） 就是最簡單的for循環，逐行逐列遍歷。 接下來是RNNLM中實現的trick版本 對比普通版，trick版把遍歷行的for循環分成了8份 ...
DP專題-學習筆記：Slope Trick
目錄 1. 前言 2. 詳解 3. 總結 4. 參考資料 1. 前言 Slope Trick，是一種優化 DP 的方式，這個方式目前好像並不盛行，但是以前好像還挺流行的（？），網上講 Slope Trick 的博客好像也不多 ...
Gumbel-Softmax Trick和Gumbel分布
(re-parameterization)，都可以試試Gumbel-Softmax Trick。 這篇文章是學習以下鏈接之后的個人理解 ...
ThinkPHP 5日志文件包含trick
0x00 前言 本文源於實戰場景，以下所有測試均基於Fastadmin前台模版getshell漏洞環境 環境： Win10 Phpstudy 2018 ...