什么是 end-to-end 神經網絡?
https://www.zhihu.com/question/51435499
解答1
像機器一樣學習,像人一樣生活
等
端到端指的是輸入是原始數據,輸出是最后的結果,原來輸入端不是直接的原始數據,而是在原始數據中提取的特征,這一點在圖像問題上尤為突出,因為圖像像素數太多,數據維度高,會產生維度災難,所以原來一個思路是手工提取圖像的一些關鍵特征,這實際就是就一個降維的過程。
那么問題來了,特征怎么提?
特征提取的好壞異常關鍵,甚至比學習算法還重要,舉個例子,對一系列人的數據分類,分類結果是性別,如果你提取的特征是頭發的顏色,無論分類算法如何,分類效果都不會好,如果你提取的特征是頭發的長短,這個特征就會好很多,但是還是會有錯誤,如果你提取了一個超強特征,比如染色體的數據,那你的分類基本就不會錯了。
這就意味着,特征需要足夠的經驗去設計,這在數據量越來越大的情況下也越來越困難。
於是就出現了端到端網絡,特征可以自己去學習,所以特征提取這一步也就融入到算法當中,不需要人來干預了。
那么問題來了,特征怎么提?
特征提取的好壞異常關鍵,甚至比學習算法還重要,舉個例子,對一系列人的數據分類,分類結果是性別,如果你提取的特征是頭發的顏色,無論分類算法如何,分類效果都不會好,如果你提取的特征是頭發的長短,這個特征就會好很多,但是還是會有錯誤,如果你提取了一個超強特征,比如染色體的數據,那你的分類基本就不會錯了。
這就意味着,特征需要足夠的經驗去設計,這在數據量越來越大的情況下也越來越困難。
於是就出現了端到端網絡,特征可以自己去學習,所以特征提取這一步也就融入到算法當中,不需要人來干預了。
長得很帥的胖子
其實就是joint learning.
end-to-end 的本質是你要解決的問題是多階段的或多步的(跟所謂的raw feature沒啥關系)。如果分階段學習的話,第一階段的最優解不能保證第二階段的問題達到最優。end-to-end把他們堆在一起來優化,確保最后階段的解達到最優。