WebRTC中的NetEQ
NetEQ使得WebRTC语音引擎能够快速且高解析度地适应不断变化的网络环境，确保了音质优美且缓冲延迟最小，其集成了自适应抖动控制以及丢包隐藏算法。 WebRTC和NetEQ概述 WebRTC WebRTC （Web Real-Time Communications） 是一项实时通讯技术 ...
原文：WebRTC笔记（二）NetEQ模块简单分析
NetEQ是WebRTC的音频处理模块，主要包含MCU和DSP两大处理单元，包含自适应缓冲区 语音解码器 抖动控制和丢包隐藏模块及播放四大部分。MCU的主要作用的安排数据包的插入和控制数据包的输出。插入的关注点是插入的位置，输出的关注点是输出的时间。抖动消除的算法思路在MCU控制模块中得以体现。DSP模块主要负责对从MCU中提取PCM进行数字信号处理，包括解码，信号处理，数据输出等部分。丢包隐藏 ...
2020-04-05 18:33 0 1140 推荐指数：
相关推荐
白话解读 WebRTC 音频 NetEQ 及优化实践
NetEQ 是 WebRTC 音视频核心技术之一，对于提高 VoIP 质量有明显的效果，本文将从更为宏观的视角，用通俗白话介绍 WebRTC 中音频 NetEQ 的相关概念背景和框架原理，以及相关的优化实践。 作者｜ 良逸 审校｜ 泰一 为什么要 “白话” NetEQ? 随便搜索一下 ...
webRTC中音频相关的netEQ（一）：概述
上篇文章（语音通信中终端上的时延(latency)及减小方法）说从本篇开始会切入webRTC中的netEQ主题，netEQ是webRTC中音频技术方面的两大核心技术之一（另一核心技术是音频的前后处理，包括AEC、ANS、AGC等，俗称3A算法）。webRTC是Google收购GIPS重新包装后开源 ...
webRTC中音频相关的netEQ（五）：DSP处理
上篇（webRTC中音频相关的netEQ（四）：控制命令决策）讲了MCU模块是怎么根据网络延时、抖动缓冲延时和反馈报告等来决定给DSP模块发什么控制命令的。DSP模块根据收到的命令进行相关处理，处理简要流程图如下。 从上图看出如果有语音包从packet buffer里取出来先要做解码得到 ...
WebRTC源码分析：音频模块结构分析
一、概要介绍WebRTC的音频处理流程，见下图： webRTC将音频会话抽象为一个通道Channel，譬如A与B进行音频通话，则A需要建立一个Channel与B进行音频数据传输。上图中有三个Channel，每个Channel包含编解码和RTP/RTCP发送功能。 以一个 ...
webRTC中音频相关的netEQ（二）：数据结构
上篇（webRTC中音频相关的netEQ（一）：概述）是netEQ的概述，知道了它主要是用于解决网络延时抖动丢包等问题提高语音质量的，也知道了它有两大单元MCU和DSP组成。MCU 主要是把从网络收到的语音RTP包放进packet buffer内，同时也会根据计算出来的网络延时和抖动缓冲延时 ...
webRTC中音频相关的netEQ（三）：存取包和延时计算
上篇（webRTC中音频相关的netEQ（二）：数据结构）讲了netEQ里主要的数据结构，为理解netEQ的机制打好了基础。本篇主要讲MCU中从网络上收到的RTP包是怎么放进packet buffer和从packet buffer里取出来，以及网络延时值（optBufLevel）和抖动缓冲延时 ...
webRTC中音频相关的netEQ（四）：控制命令决策
上篇（webRTC中音频相关的netEQ（三）：存取包和延时计算）讲了语音包的存取以及网络延时和抖动缓冲延时的计算，MCU也收到了DSP模块发来的反馈报告。本文讲MCU模块如何根据网络延时、抖动缓冲延时和反馈报告等决定发给DSP模块的控制命令， 好让DSP模块先对取出的语音包做解码处理（如果有的话 ...