pooling 是仿照人的視覺系統進行降維（降采樣），用更高層的抽象表示圖像特征，這一部分內容從Hubel&wiesel視覺神經研究到Fukushima提出，再到LeCun的LeNet5首次采用並使用BP進行求解，是一條線上的內容，原始推動力其實就是仿生，仿照真正的神經網絡構建人工 ...

之前一篇博文中介紹了深度學習中的pooling層,在本篇中主要介紹轉置卷積這種上采樣操作。轉置卷積也是一種卷積。 L2 pooling \[a^l={1\over k}\sqrt{\sum_{j=1}^k(a_j^{l-1})^2} \] pooling除了僅輸出一個值, 也可以輸出 ...

在機器學習領域中，有一個重要的假設：獨立同分布假設，也就是假設訓練數據和測試數據是滿足相同分布的，否則在訓練集上學習到的模型在測試集上的表現會比較差。而在深層神經網絡的訓練中，當中間神經層的前一層參數發生改變時，該層的輸入分布也會發生改變，也就是存在內部協變量偏移問題（Internal ...

1、Batch Normalization的引入 　　在機器學習領域有個很重要的假設：IID獨立同分布假設，也就是假設訓練數據和測試數據是滿足相同分布的，這是通過訓練數據獲得的模型能夠在測試集上獲得好的效果的一個基本保障。在深度學習網絡中，后一層的輸入是受前一層的影響的，而為了方便訓練網絡 ...

　　1 前言 　　BERT模型的使用可以分為兩種形式：第一種使用方法直接將語句序列輸入BERT模型獲取特征表示，BERT模型一共提供十二層不同的特征向量輸出，隨層數的遞進，特征表示從專於詞義表示到專 ...

卷積概念 什么是卷積？ 以上圖為例，中間為卷積核，在輸入圖像上進行滑動，當滑動到當前位置時，其卷積運算操作是對卷積核所覆蓋像素，進行權值和對應位置處像素的乘加： \(\ output= (7 ...

Coursera吳恩達《優化深度神經網絡》課程筆記（3）-- 超參數調試、Batch正則化和編程框架 1. Tuning Process 深度神經網絡需要調試的超參數（Hyperparameters）較多，包括： ：學習因子 ：動量梯度下降因子 ：Adam算法參數 ...

前言 在訓練深度學習模型時，常想一窺網絡結構中的attention層權重分布，觀察序列輸入的哪些詞或者詞組合是網絡比較care的。在小論文中主要研究了關於詞性POS對輸入序列的注意力機制。同時對比實驗采取的是words的self-attention機制。 效果 下圖主要包含兩列 ...