論文筆記 《Maxout Networks》 && 《Network In Network》
出處
maxout：http://arxiv.org/pdf/1302.4389v4.pdf
NIN：http://arxiv.org/abs/1312.4400
參考
maxout和NIN具體內容不作解釋下，可以參考：
Deep learning：四十五(maxout簡單理解)
Network In Network
各用一句話概括
- 常規卷積層： conv→relu
- maxout： several conv(full)→max
- NIN： serveral conv(full)→relu→conv(1x1)→relu
具體一點
- 常規卷積層：conv→relu
- conv： conv_out=∑(x·w)
- relu： y=max(0， conv_out)
- maxout：several conv(full)→max
- several conv (full): conv_out1 = x·w_1, conv_out2 = x·w_2, …
- max： y = max(conv_out1, conv_out2, …)
- NIN： conv→relu→conv(1x1)→relu
- several conv (full): conv_out1 = x·w_1, conv_out2 = x·w_2, …
- relu: relu_out1 = max(0, conv_out1), relu_out2 = max(0, conv_out2), …
- conv(1x1): conv_1x1_out = [relu_out1, relu_out2, …]·w_1x1
- relu: y = max(0, conv_1x1_out)
舉例子解釋
假設現在有一個3x3的輸入，用一個9維的向量x代表，卷積核大小也是3x3，也9維的向量w代表。
- 對於常規卷積層，直接x和w求卷積，然后relu一下就好了。
- maxout，有k個的3x3的w（這里的k是自由設定的），分別卷積得到k個1x1的輸出，然后對這k個輸入求最大值
- NIN，有k個3x3的w（這里的k也是自由設定的），分別卷積得到k個1x1的輸出，然后對它們都進行relu，然后再次對它們進行卷積，結果再relu。（這個過程，等效於一個小型的全連接網絡）
圖例
繼續渣手繪，從上到下分別對應常規卷積層，maxout，NIN：
總結
總的來說，maxout和NIN都是對傳統conv+relu的改進。
maxout想表明它能夠擬合任何凸函數，也就能夠擬合任何的激活函數（默認了激活函數都是凸的）
NIN想表明它不僅能夠擬合任何凸函數，而且能夠擬合任何函數，因為它本質上可以說是一個小型的全連接神經網絡