摘要: 　　1.概述 　　2.激活函數與導數 　　3.激活函數對比 　　4.參考鏈接 內容： 　　1.概述 　　深度學習的基本原理是基於人工神經網絡，信號從一個神經元進入，經過非線性的activation function，傳入到下一層神經元；再經過該層神經元的activate，繼續 ...

附python代碼如下: 原始的pdf文檔如果需要可以在https://pan.baidu.com/s/1GhGu2c_RVmKj4hb_bje0Eg下載. ...

深度學習中常用的優化器簡介 SGD mini-batch SGD 是最基礎的優化方法，是后續改良方法的基礎。下式給出SGD的更新公式 \[\theta_t = \theta_{t-1} - \alpha\nabla_\theta J(\theta) \] 其中\(\alpha ...

參考：https://blog.csdn.net/xbinworld/article/details/45619685 參考：https://blog.csdn.net/fate_fjh/artic ...

　　現在對 CNN 有了一定的了解，同時在 GitHub 上找了幾個 examples 來學習，對網絡的搭建有了籠統地認識，但是發現有好多基礎 pytorch 的知識需要補習，所以慢慢從官網 API 進行學習吧。 AUTOGRAD MECHANICS(自動求導機制) 　　這一部分做了解處理 ...

0. 標量、向量、矩陣互相求導的形狀 標量、向量和矩陣的求導（形狀） 標量x (1,) 向量x (n,1) 矩陣X (n,k) 標量y (1,) $\frac{\partial y ...

1、sigmoid函數 ​ sigmoid函數，也就是s型曲線函數，如下： 函數： 導數： ​ 上面是我們常見的形式，雖然知道這樣的形式，也知道計算流程，不夠感覺並不 ...

1. mat() mat()與array的區別： mat是矩陣，數據必須是2維的，是array的子集，包含array的所有特性，所做的運算都是針對矩陣來進行的。 array是數組，數據可以是多維 ...