● 神經網絡為啥用交叉熵。 參考回答: 通過神經網絡解決多分類問題時,最常用的一種方式就是在最后一層設置n個輸出節點,無論在淺層神經網絡還是在CNN中都是如此,比如,在AlexNet中最后的輸 ...
.列舉常見的一些范數及其應用場景,如L ,L ,L ,L ,Frobenius范數 答:p p 還有p p 有regularization的應用 .簡單介紹一下貝葉斯概率與頻率派概率,以及在統計中對於真實參數的假設。 答:p .概率密度的萬能近似器 答:p : . 上面那一段 .簡單介紹一下sigmoid,relu,softplus,tanh,RBF及其應用場景 答:sigmoid和softpl ...
2018-03-03 10:56 2 1503 推薦指數:
● 神經網絡為啥用交叉熵。 參考回答: 通過神經網絡解決多分類問題時,最常用的一種方式就是在最后一層設置n個輸出節點,無論在淺層神經網絡還是在CNN中都是如此,比如,在AlexNet中最后的輸 ...
的依賴關系和數學操作 2、你有哪些深度學習(rnn、cnn)調參的經驗? https://www.j ...
1: LSTM結構推導,為什么比RNN好? 答案:推導forget gate,input gate,cell state, hidden information等的變化;因為LSTM有進有出且當前的c ...
的分布拉回到標准化的分布,使得激活函數的輸入值落在激活函數對輸入比較敏感的區域,從而使梯度變大,加快學習收 ...
● 深度學習了解多少,有看過底層代碼嗎?caffe,tf? ● 除了GMM-HMM,你了解深度學習在語音識別中的應用嗎? 參考回答: 講了我用的過DNN-HMM,以及與GMM-HMM的聯系與區別;然后RNN+CTC,這里我只是了解,大概講了一下CTC損失的原理;然后提了一下 ...
目錄 定義網絡 梯度反向傳播 梯度更新 面試時的變相問法 參考資料 BPTT(back-propagation through time)算法是常用的訓練RNN的方法,其實本質還是BP算法,只不過RNN處理時間序列數據,所以要基於時間反向傳播,故叫隨時間反向傳播 ...
目錄 一元函數的梯度下降法 多元函數的梯度下降法 參考資料 梯度下降是一種迭代式的最優化手段,在機器學習中一般用於求目標函數的極小值點,這個極小值點就是最優的模型內部參數。相比求解析解的手段,GD的通用性更強,所以受到廣泛的使用。 一元函數 ...
算法部門的一道面試題。 其實這個題目並不難,我們舉一個例子,然后結合pytorch工具做驗證。 ...