abstract
讓機器去和人類自然的交談是具有挑戰性的。最近的任務型對話系統需要創造幾個部分並且通常這需要大量的人工干預，或者需要標注數據去解決各部分訓練的問題。在這里我們提出了一種端到端的任務型對話系統，它采取了一種基於管道框架的新穎的收集對話數據的方法。這個方法允許我們輕松實現對話系統而不用過多的人工干預。結果展示模型能夠在和人自然交流的同時幫助他們完成餐館搜索領域的任務。
introduction
構建一個任務型對話系統例如酒店預訂或者某種技術支持服務是困難的，因為它屬於特定領域應用且對於訓練數據的獲取也有限制。為了去解決這個問題，近來的針對對話系統設計的機器學習方法將問題轉換為一個部分可觀馬爾科夫決策過程（POMDP），它的目的是通過和真實的使用者進行交互，使用強化學習去訓練對話在線決策。然而，語言理解和語言生成模型仍然依賴監督學習並且因此需要語料在其上進行訓練。進一步，為了使強化學習（RL）可控，狀態和行為空間必須被小心的設計，而這些都會限制模型的表達力和學習能力。而且reward功能也需要被訓練，這樣的模型很難被設計且很難去測量運行時間。
另一方面來講，sequence2sequence也促進了可訓練、非任務型端到端對話系統構建的研究，這類方案把對話當作從源到目標句子的轉換問題，encoder and decoder。他們能夠創造高效的聊天機器人但是缺乏支持特殊領域對話的能力，例如和數據庫交互和收集有用的信息到他們的對話中。
模型可以端到端的進行訓練，但是仍然模塊化連接；它沒有直接為用戶目標建模，但是它仍會通過每一輪的相關的恰當的回復去學習完成被要求的任務；他有用來去達到一個高任務准確率的數據屬性的精准表達，但是有一個用戶意圖的分布式表達去允許模糊的輸入；使用delexicalisation和一個權重減少策略去減少訓練模型所需的數據，但是仍然會維持一個高自由度使得大量數據成為可獲得的。
model
seqence mapping(seqence2seqence) + dialogue history(belief trackers)
在每一輪對話中，
- 系統接受分詞后的用戶的話然后把他轉換成兩種表示，一是由一個意圖識別網絡生成的分布式表示intent representation，二是一種由belief trackers生成的belief state（槽值對）的概率分布。
- 之后數據庫節點會在belief state中選擇最可能的值去形成一個query給DB
- 數據庫搜索結果，意圖表示intent representation和belief state被一個policy網絡transformer和combine去形成一個簡單的向量表示系統的下一步行動action。
- system action 之后被用做condition一個回復生成網絡，這個網絡是生成系統回復骨架
- 然后，通過將數據庫條目的實際值替換到骨架句結構中，形成最終的系統響應。
intent network
encoder：lstm最后的隱藏層輸出 + CNN
belief trackers
dialogue state tracking提供任務型對話系統（spoken dialogue system SDS）的核心。最新的dst使用例如RNN的判別系統去直接將Automatic Speech Recognition (ASR)映射到belief state。盡管我們聚焦在文本對話系統，但是我們仍然在我們的系統核心維持狀態追蹤因為：
- 它能把一句自然表達轉變成固定槽值對表示，進而給DB傳query，這可以等同於一個語義分析器
- 通過狀態追蹤，避免了從原始輸入中學習不必要的復雜的長期依賴
- 通過使用權重
學姐剛才和我說這是個seq2seq....我覺得我可能誤會這個model了....
https://www.eefocus.com/industrial-electronics/367104/p7
https://blog.csdn.net/u014300008/article/details/53212915