訓練神經網絡時，我們會有一個訓練集，一個測試集，人在這件事上幾乎是不會出錯的 當訓練集精度為99%，而測試集精度為90%時 這時就是出現了過擬合，我們稱他為方差較高 當訓練集精度為85%，測試集精度也為85%時 這就是擬合的不好，我們稱他為高偏差 為了之后表達方便我稱 ...

什么為梯度檢驗？？？ 　　梯度檢驗可以作為檢驗神經網絡是否有bug的一種方法，現神經網絡的反向傳播算法含有許多細節，在編程實現中很容易出現一些微妙的bug，但往往這些bug並不會影響你的程序運行，而且你的損失函數看樣子也在不斷變小。但最終，你的程序得出的結果誤差將會比那些無bug的程序高出一個 ...

TensorFlow Tutorial Initialize variables Start your own session Train algorithms Implement ...

  看到有不少人挺推崇：An overview of gradient descent optimization algorithms；特此放到最上面，大家有機會可以閱讀一下；   本文內容主要來源於Coursera吳恩達《優化深度神經網絡》課程，另外一些不同優化算法之間的比較也會出 ...

首先我們理解一下，什么叫做正則化？ 　　目的角度：防止過擬合 　　簡單來說，正則化是一種為了減小測試誤差的行為(有時候會增加訓練誤差)。我們在構造機器學習模型時，最終目的是讓模型在面對新數據的時候，可以有很好的表現。當你用比較復雜的模型比如神經網絡，去擬合數據時，很容易出現過擬合現象(訓練集 ...

一、深度學習與深層神經網絡 深層神經網絡是實現“多層非線性變換”的一種方法。 深層神經網絡有兩個非常重要的特性：深層和非線性。 1.1線性模型的局限性 線性模型：y =wx+b 線性模型的最大特點就是任意線性模型的組合仍然還是線性模型。 如果只通過線性變換，任意層的全連接神經網絡 ...

概述 本文demo非常適合入門AI與深度學習的同學，從最基礎的知識講起，只要有一點點的高等數學、統計學、矩陣的相關知識，相信大家完全可以看明白。程序的編寫不借助任何第三方的深度學習庫，從最底層寫起。 第一，本文介紹了什么是神經網絡，神經網絡的特點，神經網絡中的BP算法 ...

一 批標准化 (batch normalization) Batch Normalization是Google2015年在論文：http://jmlr.org/proceedings/papers/v37/ioffe15.pdf中提出來的 訓練深層的神經網絡很復雜，因為訓練時每一層輸入 ...