最近在刷吳恩達的coursea的機器學習視頻，學完基於梯度下降的邏輯回歸和基於梯度下降的神經網絡后，就在反思這兩者之間的區別，為什么必須使用神經網絡？ 邏輯回歸不能替代神經網絡么？他們的區別是什么呢？ 答案：邏輯回歸不能替代神經網絡。 　　 機器學習的本質其實是訓練出一組參數 ...

原文：https://www.zybuluo.com/hanbingtao/note/476663 寫得非常好，適合入門！ 神經元 神經元和感知器本質上是一樣的，只不過我們說感知器的時候，它的激活函數是階躍函數；而當我們說神經元時，激活函數往往選擇為sigmoid函數或tanh函數。如下圖 ...

相信每一個剛剛入門神經網絡（現在叫深度學習）的同學都一定在反向傳播的梯度推導那里被折磨了半天。在各種機器學習的課上明明聽得非常明白，神經網絡無非就是正向算一遍Loss，反向算一下每個參數的梯度，然后大家按照梯度更新就好了。問題是梯度到底怎么求呢？課上往往舉的是標量的例子，可是一到你做作業 ...

相信每一個剛剛入門神經網絡（現在叫深度學習）的同學都一定在反向傳播的梯度推導那里被折磨了半天。在各種機器學習的課上明明聽得非常明白，神經網絡無非就是正向算一遍Loss，反向算一下每個參數的梯度，然后大家按照梯度更新就好了。問題是梯度到底怎么求呢？課上往往舉的是標量的例子，可是一到你做作業 ...

當今人工智能主流方向 —— 連接主義，即仿腦神經元連接，實現感性思維，如神經網絡。 神經網絡的一般設計過程： 准備數據：采集大量“特征/標簽”數據 搭建網絡：搭建神經網絡結構 優化參數：訓練網絡獲取最佳參數（反向傳播） 應用網絡：將網絡保存為模型，輸入新數據，輸出分類 ...

神經網絡 神經網絡可以理解為一個輸入x到輸出y的映射函數，即f(x)=y，其中這個映射f就是我們所要訓練的網絡參數w，我們只要訓練出來了參數w，那么對於任何輸入x，我們就能得到一個與之對應的輸出y。只要f不同，那么同一個x就會產生不同的y，我們當然是想要獲得最符合真實數據的y，那么我們就要訓練 ...

在FNN（DNN）的前向傳播，反向梯度推導以及代碼驗證中，我們不僅總結了FNN（DNN）這種神經網絡結構的前向傳播和反向梯度求導公式，還通過tensorflow的自動求微分工具驗證了其准確性。在本篇章，我們將專門針對CNN這種網絡結構進行前向傳播介紹和反向梯度推導。更多相關內容請見《神經網絡的梯度 ...

在本篇章，我們將專門針對vanilla RNN，也就是所謂的原始RNN這種網絡結構進行前向傳播介紹和反向梯度推導。更多相關內容請見《神經網絡的梯度推導與代碼驗證》系列介紹。 注意： 本系列的關注點主要在反向梯度推導以及代碼上的驗證，涉及到的前向傳播相對而言不會做太詳細的介紹 ...