帶你理解MST性質
寫在前面 最小生成樹的引出 假設要在n個城市之間建立通信聯絡網，則連通n個城市需要n-1條線路。在這種情況下，我們自然需要考慮一個問題，如何在最節省經費的條件下建立這個網絡？ 很自然地我們會想到， ...
原文：干貨 | 帶你理解對比學習損失函數的性質以及溫度系數的作用
點擊上方，選擇星標或置頂，每天給你送上干貨 作者 Feng 整理 對白的算法屋 編者寄語： 很多小伙伴都了解對比學習，但要說溫度系數的作用可能就不太清楚了。 卷友們好，我是對白。 對比學習中的溫度系數是一個神秘的參數，大部分論文都默認采用小的溫度系數來進行自監督對比學習 例如 . ， . 。然而並沒有對采用小溫度系數的解釋，以及溫度系數是如何影響學習過程的，即溫度系數這個角色的意義。 今天給大家 ...
2022-04-10 15:40 0 687 推薦指數：
相關推薦
深度學習中softmax交叉熵損失函數的理解
1. softmax層的作用 通過神經網絡解決多分類問題時，最常用的一種方式就是在最后一層設置n個輸出節點，無論在淺層神經網絡還是在CNN中都是如此，比如，在AlexNet中最后的輸出層有1000個節點，即便是ResNet取消了全連接層，但1000個節點的輸出層還在。 一般情況下 ...
正確理解功率MOSFET的RDS(ON)溫度系數特性
阻具有正的溫度系數，因此並聯工作沒有問題。但是，當深入理解功率MOSFET的傳輸特性和溫度對其傳輸特性 ...
深度學習之損失函數
機器學習中的所有算法都依靠最小化或最大化函數，我們將其稱為“目標函數”。被最小化的函數就被稱為“損失函數”。損失函數也能衡量預測模型在預測期望結果方面的性能，如果預測值與實際結果偏離較遠，損失函數會得到一個非常大的值。而在一些優化策略的輔助下，我們可以讓模型“學會”逐步減少損失函數預測值的誤差 ...
MSE損失函數和交叉熵損失函數的對比
為什么要用交叉熵來做損失函數： 在邏輯回歸問題中，常常使用MSE（Mean Squared Error）作為loss函數，此時： 這里的 就表示期望輸出，表示原始的實際輸出（就是還沒有加softmax)。這里的m表示有m個樣本，loss為m個樣本的loss均值。MSE在邏輯回歸問題 ...
transE損失函數理解
[ ]+的意思是大於0取原值，小於0則取0。這叫做合頁損失函數，訓練方法叫做margin-based ranking criterion。此loss函數來自SVM，目的是將正和負盡可能分開。一般margin=1。 其中d是L1或L2的距離，表示h+r向量與t向量之間的距離 ...
干貨 | 深入理解深度學習中的激活函數
理解深度學習中的激活函數 在這個文章中，我們將會了解幾種不同的激活函數，同時也會了解到哪個激活函數優於其他的激活函數，以及各個激活函數的優缺點。 1. 什么是激活函數？ 生物神經網絡是人工神經網絡的起源。然而，人工神經網絡（ANNs）的工作機制與大腦的工作機制並不是十分的相似。不過在我們了解 ...