深度學習系列 | 諾亞面向語音語義的深度學習研究進展
編者：本文來自華為諾亞方舟實驗室資深專家劉曉華在攜程技術中心主辦的深度學習Meetup中的主題演講，介紹了華為諾亞面向語音語義的深度學習進展。關注“攜程技術中心”微信公號（ctriptech），可獲知更多技術分享信息哦。
本次演講簡要回顧了深度學習近十年進展，重點介紹華為諾亞方舟實驗室最近兩年內和深度學習相關的研究成果，並探討了深度學習的未來趨勢。
一、深度學習的近十年進展
深度學習為什么現在這么火？大數據，算法突破和計算能力。算法上有什么樣的突破？第一點，對多層神經網絡做預訓練。第二點，大量標注數據驅動的監督學習和防過擬合技術的結合，例如drop out。第三點，注意力模型。特別是2012年來，深度學習在語音、圖片、視頻識別，包括自然語言處理方面取得重大突破等。
語音識別方面：基於深度神經網絡的聲音模型替隱馬爾可夫框架下的基於混合高斯分布的升學模型，使語音識別取得了突破性進展。目前完全融合了聲學模型、語言模型和聲學詞典的基於深度學習的端到端的語音識別系統也開始出現，並有可能演進為下一代的語音識別系統。
圖像識別：2011年，基於深度卷積神經網絡的圖像識別系統在ImageNet數據集上取得極大成功，並開始有成功的商業化應用。
自然語言處理：自2014年始，深度學習在語法分析、機器翻譯、對話等領域都取得了一系列重要成果。
符號人工智能：深度學習開始進入知識表達和推理等傳統人工智能的領域，並取得了初步成功。
控制/強化學習：深度學習和強化學習結合催生了深度強化學習技術，該技術在控制領域，如游戲操作和機器人的控制的端到端學習（end-to-end learning），都有了令人矚目的成功。
二、諾亞語音語義方面深度學習相關研究
華為諾亞方舟實驗室已經成為中國在深度自然語言處理研究（deep learning for NLP）領域最好的實驗室之一。
深度語義匹配：對待匹配的兩個目標對象的各個方面的匹配關系用深度神經網絡進行建模。應用之一是基於自然語言的圖片搜索：采用文本和圖像深度匹配模型做手機上的圖像搜索。
自然語言對話：我們提出了第一個基於序列編碼-解碼算法的神經網絡的對話模型。它能夠理解你所說並產生合適的應答”。目前這一成果被業界廣泛引用。
機器翻譯：傳統的基於統計的機器翻譯，是從大量的平行語料庫中學習大量的翻譯規則，然后基於翻譯規則來做翻譯。它的翻譯結果會比較忠實原文，但往往比較生硬。其特點可以用信而不達來概括。2014年基於基於編碼-解碼算法的端-到-端的翻譯系統被提出來了。它先會把源語言句子做語義編碼，相當於先理解原句，然后根據源端的語義編碼再生成目標句子。為了生成更好的目標句子，它會引入一個“注意力模型“，這個注意力模型會建議生成下一個目標翻譯詞時主要考慮源句端的哪些詞。我們最近做的一個有意思的工作是把“覆蓋率模型“這個傳統統計機器翻譯中常用的技術疊加到了”注意力模型“上，使得在生成下一個目標翻譯詞的時候，把關注重點能更多的放到那些還沒有充分翻譯的源句端的詞上，從而一定程度緩解過譯和漏譯問題。這一成果已經在今年國際計算語言學協會大會（ACL 2016）上發表了。
問答系統：我們的問答系統整體基於端到端的編碼解碼框架，但把知識庫也融合進來了，是業界第一個基於深度學習的基於自然語言的問答系統。在生成答案的下一個目標詞的時候，它會判斷是否把注意力放到知識庫，以及知識庫中哪個條目，並從中選出答案作為下一個目標詞。
基於自然語言的推理：這一塊相關研究我們剛剛起步，我們當前的方法也非常“朴素”。我們目前研究的聚焦在下面的場景：給定若干個事實，以及問題，輸出答案。限定答案是某個分類標簽，我們把這個任務轉化為一個分類問題。
三、深度學習的未來趨勢
深度學習還能有哪些突破？1.. 自然語言處理，人看起來簡單自然的符號，能否與傳統人工智能融合。2. 能否將舉一反三的能力融入到深度學習中？3，無監督學習是否能有所突破。
更加靈活的表示方式。代表性的工作包括神經圖靈機（Neural Turing Machine）、記憶網絡（memory network）, 以及諾亞最近的Neural Transformation Machine和Neural Reasoner。
更加復雜的端到端學習系統。不再拘泥於一個簡單的模型，而是多個不同功能的神經網絡耦合而成的系統，這個系統可以和現實世界完成對接和交互,能夠接受延遲的和曲折的監督信號（和增強學習的結合），是“可微的”，或者至少是可以被優化的（譬如基於抽樣的優化）。
和傳統人工智能的融合。試圖去解決傳統符號人工智能任務，推理、知識表達等，可以將符號人工智能的強大的邏輯能力和神經網絡的靈活性結合。
和知識庫的結合。在對話等需要真實世界知識的場景，我們需要建立一個可以高效動態的訪問知識庫的神經網絡系統。大量需要解決的問題：知識庫的表示問題，訪問的方式和效率問題，End-to-end 訓練的問題，和神經網絡內部的“知識”的融合問題。
受教式人工智能：數據+知識驅動的深度學習。面向特定場景，接受教育，自我成長，個性化的系統。
（本文由攜程技術中心童蘭利整理）
演講PPT下載：
深度學習Meetup系列：
諾亞面向語音語義的深度學習研究進展