《解析深度學習 語音識別實踐.pdf》PDF高清完整版-免費下載
《解析深度學習 語音識別實踐.pdf》PDF高清完整版-免費下載
下載地址：網盤下載
備用地址：網盤下載
AlphaGo與李世石的圍棋大戰激發了人們對人工智能是非的諸多爭論。人工智能背后的工作原理深度學習跳入大眾的視野。AlphaGo的大獲全勝一定程度展示了深度學習在應用領域的成功，而語音識別正是深度學習取得顯著成功的應用領域之一。
本書是首次以深度學習為主線介紹語音識別應用的書籍，對讀者了解語音識別技術及其發展歷程有重要的參考價值。
本書作者俞棟、鄧力均是該領域的著名專家，他們是深度學習在應用領域取得突破性進展的推動者與實踐者，他們在書中分享的研究成果一定程度上代表了本領域全新的研究進展；譯者俞凱、錢彥 旻也是本領域的資深專家，並有眾多實踐成果。 對於從事此領域研究的讀者來說，本書無疑有重要的參考價值。
內容簡介
《解析深度學習：語音識別實踐》是首部介紹語音識別中深度學習技術細節的專著。全書首先概要介紹了傳統語音識別理論和經典的深度神經網絡核心算法。接着全面而深入地介紹了深度學習在語音識別中的應用，包括“深度神經網絡-隱馬爾可夫混合模型”的訓練和優化，特征表示學習、模型融合、自適應，以及以循環神經網絡為代表的若干先進深度學習技術。
《解析深度學習：語音識別實踐》適合有一定機器學習或語音識別基礎的學生、研究者或從業者閱讀，所有的算法及技術細節都提供了詳盡的參考文獻，給出了深度學習在語音識別中應用的全景。
作者簡介
俞棟
1998 年加入微軟公司，現任微軟研究院首席研究員、浙江大學兼職教授和中科大客座教授。他是語音識別和深度學習方向的資深專家，出版了兩本專著，發表了150 多篇論文，是近60 項專利的發明人及有廣泛影響力的深度學習開源軟件CNTK 的發起人和主要作者之一。他在基於深度學習的語音識別技術上的工作帶來了語音識別研究方向的轉變，極大地推動了語音識別領域的發展，並獲得2013 年IEEE 信號處理協會佳論文獎。俞棟博士現擔任IEEE 語音語言處理專業委員會委員，曾擔任IEEE/ACM音頻、語音及語言處理匯刊、IEEE 信號處理雜志等期刊的編委。
鄧力
世界著名人工智能、機器學習和語音語言信號處理專家，現任微軟首席人工智能科學家和深度學習技術中心研究經理。他在美國威斯康星大學先后獲碩士和博士學位，然后在加拿大滑鐵盧大學任教獲得終身正教授。其間，他還任麻省理工學院研究職位。1999 年加入微軟研究院歷任數職，並在2014 年初創辦深度學習技術中心，主持微軟公司和研究院的人工智能和深度學習領域的技術創新。 鄧立博士的研究方向包括自動語音與說話者識別、口語識別與理解、語音–語音翻譯、機器翻譯、語言模式、統計方法與機器學習、聽覺和其他生物信息處理、深層結構學習、類腦機器智能、圖像語言多模態深度學習，商業大數據深度分析等。他在上述領域做出了重大貢獻，是ASA（美國聲學學會）會士、IEEE（美國電氣和電子工程師協會）會士和理事、ISCA（國際語音通信協會）會士，並憑借在深度學習與自動語音識別方向做出的傑出貢獻榮獲2015年度IEEE 信號處理技術成就獎。同時，他也曾在高端雜志和會議上發表過與上述領域相關的300 余篇學術論文，出版過5 部著作，發明及合作發明了超過70 多項專利。鄧立博士還擔任過IEEE 信號處理雜志和《音頻、語音與語言處理學報》（IEEE/ACMTransactions on Audio, Speech & anguage Processing）的主編。
俞凱
IEEE 高級會員，上海交通大學計算機科學與工程系特別研究員。清華大學本科、碩士，英國劍橋大學工程系博士。長期從事智能語音及語言處理、人機交互、模式識別及機器學習的研究和產業化工作。他是“千人計划”（青年項目）獲得者，國家自然科學基金委優秀青年科學基金獲得者，上海市“東方學者”特聘教授；作為共同創始人和首席科學家創立“蘇州思必馳信息科技有限公司”。現任中國聲學學會語音語言、聽覺及音樂分會執委會委員，中國計算機學會人機交互專委會委員，中國語音產業聯盟技術工作組副組長。他的研究興趣涉及語音識別、語音合成、口語理解、對話系統、認知型人機交互等智能語音語言處理技術的多個核心技術領域，在本領域的一流國際期刊和會議上發表論文80 余篇，申請專利10 余項，取得了一系列研究、工程和產業化成果。在InterSpeech 及IEEE Spoken Language Processing 等國際會議上獲得3 篇國際會議優秀論文獎，獲得國際語音通信聯盟（ISCA）2013 年頒發的2008—2012 Computer Speech and Language 優論文獎。受邀擔任InterSpeech 2009 語音識別領域主席、EUSIPCO 2011/EUSIPCO 2014 語音處理領域主席、InterSpeech 2014 口語對話系統領域主席等。他負責搭建或參與搭建的大規模連續語音識別系統，曾獲得美國國家標准局（NIST）和美國國防部內部評測冠軍；作為核心技術人員，負責設計並實現的認知型統計對話系統原型，在CMU 組織的2010 年對話系統國際挑戰賽上獲得了可控測試的冠軍。作為項目負責人或Co-PI，他主持了歐盟第7 框架PARLANCE、國家自然科學基金委、上海市教委、經信委，以及美國通用公司、蘇州思必馳信息科技有限公司的一系列科研及產業化項目。2014 年，因在智能語音技術產業化方面的貢獻，獲得中國人工智能學會頒發的“吳文俊人工智能科學技術獎”。
錢彥旻
上海交通大學計算機科學與工程系助理研究員，博士。分別在2007 年6 月和2013 年1 月於華中科技大學和清華大學獲得工學學士和工學博士學位。2013 年4 月起，任上海交通大學計算機科與工程系理研究員。同時從2015 年1 月至2015 年12 月，在英國劍橋大學工程系機器智能實驗室語音組進行訪問，作為項目研究員與語音識別領域的著名科學家Phil Woodland 教授和Mark Gales 教授開展合作研究。現為IEEE、ISCA 會員，同時也是國際開源項目Kaldi 語音識別工具包開發的項目組創始成員之一。此外，擔任IEEE Transactions on Audio, Speech, and Language Processing、SpeechCommunication、ICASSP、Interspeech、ASRU 等國際期刊和會議的審稿人。目前在國內外學術刊物和會議上發表學術論文50 余篇，Google Scholar 總引用數近1000 次。其中包括在語音識別領域優秀國際會議ICASSP、InterSpeech 和ASRU 上發表論文30 余篇，申請國家專利共3 項，已授權1 項。2008 年獲科技奧運先進集體獎，2014 年獲中國人工智能學會頒發的“吳文俊人工智能科學技術獎進步獎”。曾作為負責人和主要參與者參加了包括英國EPSRC、國家自然科學基金、國家863 等多個項目。目前的研究領域包括：語音識別、說話人和語種識別、自然語言理解、深度學習建模、多媒體信號處理等。
作者及譯者簡介iv
譯者序vii
序ix
前言xi
術語縮寫xxiii
符號xxvii
1 簡介1
1.1 自動語音識別：更好的溝通之橋 1
1.1.1 人類之間的交流 2
1.1.2 人機交流 2
1.2 語音識別系統的基本結構 4
1.3 全書結構 6
1.3.1 第一部分：傳統聲學模型6
1.3.2 第二部分：深度神經網絡6
1.3.3 第三部分：語音識別中的DNN-HMM 混合系統7
1.3.4 第四部分：深度神經網絡中的特征表示學習 7
1.3.5 第五部分：高級的深度模型 7
第一部分傳統聲學模型9
2 混合高斯模型10
2.1 隨機變量10
2.2 高斯分布和混合高斯隨機變量11
2.3 參數估計13
2.4 采用混合高斯分布對語音特征建模 15
3 隱馬爾可夫模型及其變體17
3.1 介紹17
3.2 馬爾可夫鏈19
3.3 序列與模型 20
3.3.1 隱馬爾可夫模型的性質21
3.3.2 隱馬爾可夫模型的仿真22
3.3.3 隱馬爾可夫模型似然度的計算22
3.3.4 計算似然度的高效算法24
3.3.5 前向與后向遞歸式的證明25
3.4 期望zui大化算法及其在學習HMM 參數中的應用 26
3.4.1 期望zui大化算法介紹 26
3.4.2 使用EM 算法來學習HMM 參數——Baum-Welch 算法 28
3.5 用於解碼HMM 狀態序列的維特比算法32
3.5.1 動態規划和維特比算法32
3.5.2 用於解碼HMM 狀態的動態規划算法33
3.6 隱馬爾可夫模型和生成語音識別模型的變體35
3.6.1 用於語音識別的GMM-HMM 模型 36
3.6.2 基於軌跡和隱藏動態模型的語音建模和識別37
3.6.3 使用生成模型HMM 及其變體解決語音識別問題 38
第二部分深度神經網絡41
4 深度神經網絡42
4.1 深度神經網絡框架42
4.2 使用誤差反向傳播來進行參數訓練 45
4.2.1 訓練准則 45
4.2.2 訓練算法46
4.3 實際應用50
4.3.1 數據預處理51
4.3.2 模型初始化52
4.3.3 權重衰減52
4.3.4 丟棄法 53
4.3.5 批量塊大小的選擇55
4.3.6 取樣隨機化56
4.3.7 慣性系數 57
4.3.8 學習率和停止准則58
4.3.9 網絡結構59
4.3.10 可復現性與可重啟性 59
5 高級模型初始化技術61
5.1 受限玻爾茲曼機61
5.1.1 受限玻爾茲曼機的屬性63
5.1.2 受限玻爾茲曼機參數學習66
5.2 深度置信網絡預訓練 69
5.3 降噪自動編碼器預訓練71
5.4 鑒別性預訓練74
5.5 混合預訓練75
5.6 采用丟棄法的預訓練 75
第三部分語音識別中的深度神經網絡–隱馬爾可夫混合模型77
6 深度神經網絡–隱馬爾可夫模型混合系統78
6.1 DNN-HMM 混合系統 78
6.1.1 結構78
6.1.2 用CD-DNN-HMM 解碼80
6.1.3 CD-DNN-HMM 訓練過程81
6.1.4 上下文窗口的影響83
6.2 CD-DNN-HMM 的關鍵模塊及分析 85
6.2.1 進行比較和分析的數據集和實驗85
6.2.2 對單音素或者三音素的狀態進行建模 87
6.2.3 越深越好88
6.2.4 利用相鄰的語音幀89
6.2.5 預訓練 90
6.2.6 訓練數據的標注質量的影響 90
6.2.7 調整轉移概率 91
6.3 基於KL 距離的隱馬爾可夫模型91
7 訓練和解碼的加速93
7.1 訓練加速93
7.1.1 使用多GPU 流水線反向傳播94
7.1.2 異步隨機梯度下降97
7.1.3 增廣拉格朗日算法及乘子方向交替算法100
7.1.4 減小模型規模 101
7.1.5 其他方法102
7.2 加速解碼103
7.2.1 並行計算103
7.2.2 稀疏網絡105
7.2.3 低秩近似107
7.2.4 用大尺寸DNN 訓練小尺寸DNN108
7.2.5 多幀DNN 109
8 深度神經網絡序列鑒別性訓練111
8.1 序列鑒別性訓練准則 111
8.1.1 zui大相互信息 112
8.1.2 增強型MMI 113
8.1.3 zui小音素錯誤/狀態級zui小貝葉斯風險114
8.1.4 統一的公式115
8.2 具體實現中的考量116
8.2.1 詞圖產生116
8.2.2 詞圖補償117
8.2.3 幀平滑 119
8.2.4 學習率調整119
8.2.5 訓練准則選擇 120
8.2.6 其他考量120
8.3 噪聲對比估計 121
8.3.1 將概率密度估計問題轉換為二分類設計問題121
8.3.2 拓展到未歸一化的模型123
8.3.3 在深度學習網絡訓練中應用噪聲對比估計算法 124
第四部分深度神經網絡中的特征表示學習127
9 深度神經網絡中的特征表示學習128
9.1 特征和分類器的聯合學習128
9.2 特征層級129
9.3 使用隨意輸入特征的靈活性 133
9.4 特征的魯棒性 134
9.4.1 對說話人變化的魯棒性134
9.4.2 對環境變化的魯棒性 135
9.5 對環境的魯棒性137
9.5.1 對噪聲的魯棒性138
9.5.2 對語速變化的魯棒性 140
9.6 缺乏嚴重信號失真情況下的推廣能力141
10 深度神經網絡和混合高斯模型的融合144
10.1 在GMM-HMM 系統中使用由DNN 衍生的特征144
10.1.1 使用Tandem 和瓶頸特征的GMM-HMM 模型144
10.1.2 DNN-HMM 混合系統與采用深度特征的GMM-HMM 系統的比較147
10.2 識別結果融合技術149
10.2.1 識別錯誤票選降低技術（ROVER） 149
10.2.2 分段條件隨機場（SCARF） 151
10.2.3 zui小貝葉斯風險詞圖融合153
10.3 幀級別的聲學分數融合153
10.4 多流語音識別 154
11 深度神經網絡的自適應技術157
11.1 深度神經網絡中的自適應問題157
11.2 線性變換159
11.2.1 線性輸入網絡.159
11.2.2 線性輸出網絡 159
11.3 線性隱層網絡 161
11.4 保守訓練162
11.4.1 L2 正則項163
11.4.2 KL 距離正則項163
11.4.3 減少每個說話人的模型開銷 165
11.5 子空間方法167
11.5.1 通過主成分分析構建子空間 167
11.5.2 噪聲感知、說話人感知及設備感知訓練168
11.5.3 張量172
11.6 DNN 說話人自適應的效果172
11.6.1 基於KL 距離的正則化方法 173
11.6.2 說話人感知訓練174
第五部分先進的深度學習模型177
12 深度神經網絡中的表征共享和遷移178
12.1 多任務和遷移學習178
12.1.1 多任務學習 178
12.1.2 遷移學習180
12.2 多語言和跨語言語音識別180
12.2.1 基於Tandem 或瓶頸特征的跨語言語音識別181
12.2.2 共享隱層的多語言深度神經網絡182
12.2.3 跨語言模型遷移185
12.3 語音識別中深度神經網絡的多目標學習188
12.3.1 使用多任務學習的魯棒語音識別188
12.3.2 使用多任務學習改善音素識別189
12.3.3 同時識別音素和字素（graphemes） 190
12.4 使用視聽信息的魯棒語音識別 190
13 循環神經網絡及相關模型192
13.1 介紹192
13.2 基本循環神經網絡中的狀態-空間公式194
13.3 沿時反向傳播學習算法195
13.3.1 zui小化目標函數 196
13.3.2 誤差項的遞歸計算196
13.3.3 循環神經網絡權重的更新197
13.4 一種用於學習循環神經網絡的原始對偶技術199
13.4.1 循環神經網絡學習的難點199
13.4.2 回聲狀態（Echo-State）性質及其充分條件 199
13.4.3 將循環神經網絡的學習轉化為帶約束的優化問題 200
13.4.4 一種用於學習RNN 的原始對偶方法201
13.5 結合長短時記憶單元（LSTM）的循環神經網絡203
13.5.1 動機與應用203
13.5.2 長短時記憶單元的神經元架構204
13.5.3 LSTM-RNN 的訓練205
13.6 循環神經網絡的對比分析205
13.6.1 信息流方向的對比：自上而下還是自下而上 206
13.6.2 信息表征的對比：集中式還是分布式208
13.6.3 解釋能力的對比：隱含層推斷還是端到端學習209
13.6.4 參數化方式的對比：吝嗇參數集合還是大規模參數矩陣 209
13.6.5 模型學習方法的對比：變分推理還是梯度下降210
13.6.6 識別正確率的比較211
13.7 討論212
14 計算型網絡214
14.1 計算型網絡214
14.2 前向計算215
14.3 模型訓練 218
14.4 典型的計算節點222
14.4.1 無操作數的計算節點 223
14.4.2 含一個操作數的計算節點223
14.4.3 含兩個操作數的計算節點228
14.4.4 用來計算統計量的計算節點類型235
14.5 卷積神經網絡 236
14.6 循環連接 239
14.6.1 只在循環中一個接一個地處理樣本240
14.6.2 同時處理多個句子242
14.6.3 創建任意的循環神經網絡243
15 總結及未來研究方向245
15.1 路線圖 245
15.1.1 語音識別中的深度神經網絡啟蒙245
15.1.2 深度神經網絡訓練和解碼加速248
15.1.3 序列鑒別性訓練248
15.1.4 特征處理249
15.1.5 自適應 250
15.1.6 多任務和遷移學習251
15.1.7 卷積神經網絡 251
15.1.8 循環神經網絡和長短時記憶神經網絡251
15.1.9 其他深度模型 252
15.2 技術前沿和未來方向 252
15.2.1 技術前沿簡析252
15.2.2 未來方向253
參考文獻