Introduction 已經有一段時間了，Softmax的問題沒有解決。比如分類的時候，看大家似乎都用的SoftmaxOutput作為Loss Op，傳入了兩個參數(i.e.: data，label)，照理說應該輸出loss的值；也就是說作為Loss應該輸出的是一個標量（bachsize ...

權值共享的思考 在CNN中，每個濾波器 在整個視覺域(visual field)上是不斷重復的。這些重復的單元共享着相同的參數設定（權值向量(weight vector)和偏置(bias)），並且組成一個特征圖(feature map)。 Layer m-1 Depth為3，按照RGB ...

infer_shape for symbol 形狀推斷是mxnet的一特色，即使撇開這樣做的原因是mxnet強制要求的，其提供的功能也是很helpful的。 infer_shape通常是被封裝起來供其內部使用，但也可以把symbol.infer_shape單獨提出來，作為函數 ...

共享？ 說道權值共享，就需要提到感受野，感受野其實就是一個隱含神經元的局部連接大小，權值共享就是感受野 ...

局部連接與權值共享 下圖是一個很經典的圖示，左邊是全連接，右邊是局部連接。 對於一個1000 × 1000的輸入圖像而言，如果下一個隱藏層的神經元數目為10^6個，采用全連接則有1000 × 1000 × 10^6 = 10^12個權值參數，如此數目巨大的參數幾乎難以訓練；而采用 ...

感知、權值共享 CNN用局部感知和權值共享大大減少了參數，同時還具備其它優點。它們與自然圖像自身具有的 ...

根據網上查詢到的說法，參數就是在卷積神經網絡中可以被訓練的參數，比如卷積核的權值和偏移等等，而超參數是一些預先設定好並且無法改變的，比如說是卷積核的個數等。 另外還有一個最最基礎的概念，就是卷積核的權值共享，這個共享其實指的是一個卷積核在一個輸入中的不同位置是共享參數的（意思就是一個輸入使用 ...

一.權值線段樹與線段樹的區別： --權值線段樹維護數的個數，數組下標代表整個值域（如果值域太大，可以離散化，后面會有介紹） --線段樹則是直接維護每個數 二.權值線段樹的用處 1.尋找第K大（整個區間，即左邊界為1，右邊界為n） 2.逆序對（呵呵歸並也能求） 3.最大差& ...