白話解讀 WebRTC 音頻 NetEQ 及優化實踐
NetEQ 是 WebRTC 音視頻核心技術之一，對於提高 VoIP 質量有明顯的效果，本文將從更為宏觀的視角，用通俗白話介紹 WebRTC 中音頻 NetEQ 的相關概念背景和框架原理，以及相關的優化實踐。 作者｜ 良逸 審校｜ 泰一 為什么要 “白話” NetEQ? 隨便搜索一下 ...
原文：WebRTC中的NetEQ
NetEQ使得WebRTC語音引擎能夠快速且高解析度地適應不斷變化的網絡環境，確保了音質優美且緩沖延遲最小，其集成了自適應抖動控制以及丟包隱藏算法。 WebRTC和NetEQ概述 WebRTC WebRTC Web Real Time Communications 是一項實時通訊技術，它允許網絡應用或者站點，在不借助中間媒介的情況下，建立瀏覽器之間點對點 Peer to Peer 的連接，實現視頻 ...
2019-10-08 19:30 0 544 推薦指數：
相關推薦
webRTC中音頻相關的netEQ（一）：概述
上篇文章（語音通信中終端上的時延(latency)及減小方法）說從本篇開始會切入webRTC中的netEQ主題，netEQ是webRTC中音頻技術方面的兩大核心技術之一（另一核心技術是音頻的前后處理，包括AEC、ANS、AGC等，俗稱3A算法）。webRTC是Google收購GIPS重新包裝后開源 ...
WebRTC筆記（二）NetEQ模塊簡單分析
NetEQ是WebRTC的音頻處理模塊，主要包含MCU和DSP兩大處理單元，包含自適應緩沖區、語音解碼器、抖動控制和丟包隱藏模塊及播放四大部分。MCU的主要作用的安排數據包的插入和控制數據包的輸出。插入的關注點是插入的位置，輸出的關注點是輸出的時間。抖動消除的算法思路在MCU控制模塊中得以 ...
webRTC中音頻相關的netEQ（五）：DSP處理
上篇（webRTC中音頻相關的netEQ（四）：控制命令決策）講了MCU模塊是怎么根據網絡延時、抖動緩沖延時和反饋報告等來決定給DSP模塊發什么控制命令的。DSP模塊根據收到的命令進行相關處理，處理簡要流程圖如下。 從上圖看出如果有語音包從packet buffer里取出來先要做解碼得到 ...
webRTC中音頻相關的netEQ（二）：數據結構
上篇（webRTC中音頻相關的netEQ（一）：概述）是netEQ的概述，知道了它主要是用於解決網絡延時抖動丟包等問題提高語音質量的，也知道了它有兩大單元MCU和DSP組成。MCU 主要是把從網絡收到的語音RTP包放進packet buffer內，同時也會根據計算出來的網絡延時和抖動緩沖延時 ...
webRTC中音頻相關的netEQ（三）：存取包和延時計算
上篇（webRTC中音頻相關的netEQ（二）：數據結構）講了netEQ里主要的數據結構，為理解netEQ的機制打好了基礎。本篇主要講MCU中從網絡上收到的RTP包是怎么放進packet buffer和從packet buffer里取出來，以及網絡延時值（optBufLevel）和抖動緩沖延時 ...
webRTC中音頻相關的netEQ（四）：控制命令決策
上篇（webRTC中音頻相關的netEQ（三）：存取包和延時計算）講了語音包的存取以及網絡延時和抖動緩沖延時的計算，MCU也收到了DSP模塊發來的反饋報告。本文講MCU模塊如何根據網絡延時、抖動緩沖延時和反饋報告等決定發給DSP模塊的控制命令， 好讓DSP模塊先對取出的語音包做解碼處理（如果有的話 ...
webrtc中AGC的應用
webrtc--AudioProcessing的使用 1.AudioProcessing的實例化和配置： AudioProcessing* apm = AudioProcessing::Create(0); apm->level_estimator()->Enable(true ...