組合神經優化涉及的一些知識


1、sequence to sequence 

https://zhuanlan.zhihu.com/p/27608348

最基礎的Seq2Seq模型包含了三個部分,即Encoder、Decoder以及連接兩者的中間狀態向量,Encoder通過學習輸入,將其編碼成一個固定大小的狀態向量S,繼而將S傳給Decoder,Decoder再通過對狀態向量S的學習來進行輸出。

2 、注意力機制(attention mechanism)(由sequence to sequence。encoder-decoder機制演變而來)

https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html

https://blog.csdn.net/tg229dvt5i93mxaq5a6u/article/details/78422216       **********

3、Pointer network(attention演變而來)

https://www.translatoruser-int.com/translate?&to=en&csId=fa917e53-e092-4c2a-88c3-450a2fe4bf4e&usId=b194361b-a786-4ca1-8312-8f822f2a00ec&ref=SERP&refd=www.translatetheweb.com&dl=en&ac=true&dt=2019%2F4%2F5%207%3A34&h=tp_EBh-JusBVJ3VQQXUfwlwgBWO7LSlR&a=https%3A%2F%2Fmedium.com%2F%40devnag%2Fpointer-networks-in-tensorflow-with-sample-code-14645063f264


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM