from:http://blog.csdn.net/u013989576/article/details/76215989
權值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均勻分布初始化（uniform）、xavier初始化、msra初始化、雙線性初始化（bilinear）
常量初始化(constant)
把權值或者偏置初始化為一個常數，具體是什么常數，可以自己定義
高斯分布初始化（gaussian）
需要給定高斯函數的均值與標准差
positive_unitball初始化
讓每一個神經元的輸入的權值和為 1，例如：一個神經元有100個輸入，讓這100個輸入的權值和為1. 首先給這100個權值賦值為在（0，1）之間的均勻分布，然后，每一個權值再除以它們的和就可以啦。這么做，可以有助於防止權值初始化過大，從而防止激活函數（sigmoid函數）進入飽和區。所以，它應該比較適合simgmoid形的激活函數
均勻分布初始化（uniform）
將權值與偏置進行均勻分布的初始化，用min 與 max 來控制它們的的上下限，默認為（0，1）
xavier初始化(論文：《Understanding the difficulty of training deep feedforward neural networks》）
對於權值的分布：均值為0，方差為（1 / 輸入的個數） 的 均勻分布。如果我們更注重前向傳播的話，我們可以選擇 fan_in，即正向傳播的輸入個數；如果更注重后向傳播的話，我們選擇 fan_out, 因為在反向傳播的時候，fan_out就是神經元的輸入個數；如果兩者都考慮的話，就選 average = (fan_in + fan_out) /2。對於ReLU激活函數來說，XavierFiller初始化也是很適合。關於該初始化方法，具體可以參考文章1、文章2，該方法假定激活函數是線性的。
msra初始化(論文：《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.）
對於權值的分布：基於均值為0，方差為( 2/輸入的個數)的高斯分布；它特別適合 ReLU激活函數，該方法主要是基於Relu函數提出的，推導過程類似於xavier，可以參考博客。
雙線性初始化（bilinear）
常用在反卷積神經網絡里的權值初始化