論文閱讀 | Target-Guided Open-Domain Conversation


論文地址 :https://www.aclweb.org/anthology/P19-1565/

作者 : Jianheng Tang, Tiancheng Zhao, Chenyan Xiong, Xiaodan Liang, Eric Xing, Zhiting Hu

機構 : 中山大學,CMU,微軟,Petuum

 

研究的問題:

關注的是在開放域的聊天中目標引導的問題,就是讓對話系統將對話引導到目標主題上。如下圖所示:

 

機器人將對話一步步地向e-book引導。

本文提出的是一種多模塊的方法,在不同的粒度下解決問題。具體地說,模型包括一個對話輪次級別(turn-level)的遷移預測器,來解決平穩遷移的問題;一個話語級別(discourse-level)的目標導向策略,來接近對話的目標;一個回復檢索器,來生成合適的對話回復。

 

研究方法:

任務定義:對話從任意一個主題開始,最終被引導到目標主題上。這里主題被限定為一個詞,用t來表示。這里只有對話系統獲得這個目標主題,人類是不知道的。當人類的回復中出現了目標詞語或者類似的詞語時,就認為成功了。

所以任務目標包括兩個方面:生成流暢、平滑的過渡回復;將對話朝目標方向引導。由於缺乏合適的數據集,所以將任務拆解為這兩個子問題來解決。

方案:模型的整體框架如下圖所示:

 

如上述提到,包括三個部分,下面分別介紹。

(1)對話輪次級別(turn-level)的遷移預測器

這部分的目標是在給定對話歷史語句的情況下,預測下一個關鍵詞。這部分不涉及最終目標,和傳統的閑聊型系統一致。這里提出了三種方法。

基於PMI的方法:基於統計的方法,兩個單詞之間的PMI分數由下面得到:

 

由當前的關鍵詞根據PMI分數選擇分數最高的作為下一個關鍵詞。

基於神經模型的方法:以端到端的方式預測下一個關鍵詞。

基於核的方法:給定當前關鍵詞和一個候選的關鍵字,首先計算它們詞向量之間的余弦相似度,將它輸入到K個RBF核的內核層中,將這個K維的結果輸入到一個全連接層中,輸出的分數作為兩個詞之間的得分。實驗發現這種方法的效果最好。

(2)話語級別(discourse-level)的目標導向策略

通過限定關鍵詞來實現的,具體地是將兩個詞的詞向量之間的余弦值作為兩個詞關系的度量。在每輪預測下一個關鍵詞時,首先根據這個策略選擇一組有效的關鍵詞,然后再由(1)中的方法選擇最終的一個詞。

(3)回復檢索器

通過檢索的方式生成最終的回復。具體是用 RNN 來編碼對話歷史和關鍵詞,以及訓練集中的候選回復語句。然后計算候選語句和對話歷史的點乘,候選語句和關鍵詞的點乘;這兩個結果進行連接后再傳給一個全連接網絡和 sigmoid 函數,得到候選語句的匹配得分。

 

實驗部分:

數據集:主要基於PersonaChat數據集,通過tfidf和一些語音特征來提取關鍵詞。

評估指標使用檢索式系統中常用的R_n@k和P@1,另外使用Cor.來評估關鍵詞提取的效果,它表示兩個關鍵詞的相似性。

首先是比較三種關鍵詞生成方案的效果如下:

 

核方法取得了最好的效果。

對於整體的實驗,評估包括一個機器人之間的對話和人類評估兩個方面。使用WordNet來識別同義詞,如果相似性得分大於.9就視為達到目標。對話輪數限定為8輪,8輪內沒有達到目標就算失敗。實驗結果如下:

 

 

 

評價:

本文提出了對話系統上的一個新的任務,也就是閑聊型對話系統和任務型對話系統的一種結合。研究的方法和思路比較值得借鑒,由於在該任務上缺少數據,所以將任務拆解為兩個子目標,每個子目標可以通過有監督的模型或規則來實現。不過在模型方面,方法比較粗糙,僅通過關鍵詞相似性的檢索來引導對話方向。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM