一個最原始粗暴的擬合任意函數的思路，是將函數切成很多段線性函數，之后用邏輯門控制當x在哪一個區間時，某些邏輯門被激活，對應的線性函數的權重w與偏移量b在邏輯門的包裹下變成非0，計算出y在這一段的輸出值 ...

熵的概念：熵是描述一個系統的混亂程度的度量，最基礎的定義是： $S={{k}_{b}}\ln \Omega $ kb是熱力統計學里的波爾茨曼常量，單位 焦耳/K，為了簡便，在信息學里直接取值1 ...

講述信息瓶頸理論的核心：信息壓縮 之前，需要熟悉交互信息與泛化誤差兩個概念，不熟悉的建議回顧一下之前的文章 從信息論的角度分析DNN的工作原理 以及 信息在DNN馬爾科夫鏈結構上的變化 信息壓縮主 ...

一個典型的SGD過程中，一個epoch內的一批樣本的平均梯度與梯度方差，在下圖中得到了展示。 無論什么樣的網絡結構，無論是哪一層網絡的梯度，大體上都遵循下面這樣的規律： 高信號/噪音比一段時間 ...