李宏毅2021春機器學習課程筆記——Introduction of Machine/Deep Learning
本文作為自己學習李宏毅老師2021春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏、建議，還請各位博友不吝指教，感謝！！ 一、Machine Learning概念理解 Machine Learning主要的任務是尋找一個合適的Function來完成我們的工作（非常不嚴 ...
原文：李宏毅2021春機器學習課程筆記——通過訓練集上的Loss可獲得的信息
本文作為自己學習李宏毅老師 春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏 建議，還請各位博友不吝指教，感謝 如何更好的訓練我們的模型呢 我們可以通過觀察訓練集上的loss，來決定下一步采取什么措施來優化我們的訓練過程。 訓練集上的Loss很大 在這種情況下，可能的原因有Model bias和Optimization兩種。 Model Bias 在上一節中提到，model b ...
2021-04-08 09:55 1 243 推薦指數：
相關推薦
李宏毅2021春機器學習課程筆記——Convolutional Neural Network
本文作為自己學習李宏毅老師2021春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏、建議，還請各位博友不吝指教，感謝！！ CNN理解角度一 圖像的表達形式 對於一個Machine來說，一張輸入的圖像其實是一個三維的Tensor。 如上圖所示，三個維度分別 ...
李宏毅2021春機器學習課程筆記——生成對抗模型模型
本文作為自己學習李宏毅老師2021春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏、建議，還請各位博友不吝指教，感謝！！ 概率生成模型 概率生成模型（Probabilistic Generative Model）簡稱生成模型，指一系列用於隨機生成可觀測數據的模型 ...
李宏毅2021春機器學習課程筆記——自注意力機制（Self-Attention）
本文作為自己學習李宏毅老師2021春機器學習課程所做筆記，記錄自己身為入門階段小白的學習理解，如果錯漏、建議，還請各位博友不吝指教，感謝！！ 全連接網絡的輸入是一個向量，但是當輸入是一個變長的向量序列時，就不能再使用全連接網絡了。這種情況通常可以使用卷積網絡或循環網絡進行編碼來得到一個相同 ...
李宏毅機器學習課程筆記-3.梯度下降精講
梯度下降偽代碼 梯度下降可以優化損失函數的值，使其盡量小，即可找到最好（在數據集上擬合效果最好）的模型參數。 現在假設模型\(f\)中只有一個參數\(w\)，則損失函數為\(L(f)=L(w)\)，梯度下降算法如下（若模型有多個參數，按相同方法更新各參數） 初始化參數 隨機選取一個 ...
李宏毅《機器學習 深度學習》簡要筆記（一）
P1 一、線性回歸中的模型選擇 上圖所示： 五個模型，一個比一個復雜，其中所包含的function就越多，這樣就有更大幾率找到一個合適的參數集來更好的擬合訓練集。所以，隨着模型的復雜度提高，train error呈下降趨勢。 上圖所示： 右上角的表格中分 ...
【筆記】機器學習 - 李宏毅 -- ELMO、BERT、GPT
1.背景知識 one-hot -> word class -> word embedding 不過傳統的word embedding解決不了多義詞的問題。 2. ELMO ...
【筆記】機器學習 - 李宏毅 -- Transformer
1.RNN和CNN的局限性 RNN是seq2seq的模型，RNN不易平行化，如果是單向的話，要輸出\(b^3\)，需要先看完\(a^1, a^2, a^3\)。如果是雙向的話，可以看完整個句子。 CNN在高層的時候，可以考慮距離更長的信息，CNN易於並行化。CNN的缺點是，考慮的只是局部內容 ...