李宏毅2021春機器學習課程筆記——Introduction of Machine/Deep Learning
本文作為自己學習李宏毅老師2021春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏、建議，還請各位博友不吝指教，感謝！！ 一、Machine Learning概念理解 Machine Learning主要的任務是尋找一個合適的Function來完成我們的工作（非常不嚴 ...
原文：李宏毅2021春機器學習課程筆記——自注意力機制（Self-Attention）
本文作為自己學習李宏毅老師 春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏 建議，還請各位博友不吝指教，感謝 全連接網絡的輸入是一個向量，但是當輸入是一個變長的向量序列時，就不能再使用全連接網絡了。這種情況通常可以使用卷積網絡或循環網絡進行編碼來得到一個相同長度的輸出向量序列。 基於卷積或循環網絡的序列編碼都是一種局部的編碼方式，只建模了輸入信息的局部依賴關系。雖然循環網絡理 ...
2021-05-04 19:13 2 2364 推薦指數：
相關推薦
李宏毅2021春機器學習課程筆記——Convolutional Neural Network
本文作為自己學習李宏毅老師2021春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏、建議，還請各位博友不吝指教，感謝！！ CNN理解角度一 圖像的表達形式 對於一個Machine來說，一張輸入的圖像其實是一個三維的Tensor。 如上圖所示，三個維度分別 ...
李宏毅2021春機器學習課程筆記——生成對抗模型模型
本文作為自己學習李宏毅老師2021春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏、建議，還請各位博友不吝指教，感謝！！ 概率生成模型 概率生成模型（Probabilistic Generative Model）簡稱生成模型，指一系列用於隨機生成可觀測數據的模型 ...
Self-attention（自注意力機制）
self-attention是什么? 一個 self-attention 模塊接收 n 個輸入，然后返回 n 個輸出。自注意力機制讓每個輸入都會彼此交互（自），然后找到它們應該更加關注的輸入（注意力）。自注意力模塊的輸出是這些交互的聚合和注意力分數。 self-attention模塊 ...
李宏毅2021春機器學習課程筆記——通過訓練集上的Loss可獲得的信息
本文作為自己學習李宏毅老師2021春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏、建議，還請各位博友不吝指教，感謝！！ 如何更好的訓練我們的模型呢？我們可以通過觀察訓練集上的loss，來決定下一步采取什么措施來優化我們的訓練過程。 訓練集上的Loss很大 ...
【學習筆記】注意力機制（Attention）
前言 這一章看啥視頻都不好使，啃書就完事兒了，當然了我也沒有感覺自己學的特別扎實，不過好歹是有一定的了解了 注意力機制 由於之前的卷積之類的神經網絡，選取卷積中最大的那個數，實際上這種行為是沒有目的的，因為你不知道那個最大的數是不是你需要的，也許在哪一塊你偏偏就需要一個最小的數呢？所以就有 ...
自然語言處理中的自注意力機制（Self-attention Mechanism）
自然語言處理中的自注意力機制（Self-attention Mechanism） 近年來，注意力（Attention）機制被廣泛應用到基於深度學習的自然語言處理(NLP)各個任務中，之前我對早期注意力機制進行過一些學習總結（可見http://www.cnblogs.com ...
【自然語言處理】：自注意力機制(self-attention)原理介紹
一.最常見的self-attention 對於自注意力機制而言，我們有的時候會遇到詞性分類的任務，比如說給定一句話，我想知道這句話當中每一個單詞的詞性。但是使用雙向lstm呢，會有很多信息被忽略掉，尤其是一些位於后面的詞很可能前面的詞對它的影響沒有那么大，即使我們的lstm考慮了一些遺忘 ...