webRTC中音频相关的netEQ（五）：DSP处理
上篇（webRTC中音频相关的netEQ（四）：控制命令决策）讲了MCU模块是怎么根据网络延时、抖动缓冲延时和反馈报告等来决定给DSP模块发什么控制命令的。DSP模块根据收到的命令进行相关处理，处理简要流程图如下。 从上图看出如果有语音包从packet buffer里取出来先要做解码得到 ...
原文：webRTC中音频相关的netEQ（四）：控制命令决策
上篇 webRTC中音频相关的netEQ 三 ：存取包和延时计算 讲了语音包的存取以及网络延时和抖动缓冲延时的计算，MCU也收到了DSP模块发来的反馈报告。本文讲MCU模块如何根据网络延时 抖动缓冲延时和反馈报告等决定发给DSP模块的控制命令， 好让DSP模块先对取出的语音包做解码处理 如果有的话 以及根据这些命令做信号处理。 MCU模块给DSP模块发的控制命令主要有正常播放 normal 加速播 ...
2018-10-23 08:26 0 2459 推荐指数：
相关推荐
webRTC中音频相关的netEQ（一）：概述
上篇文章（语音通信中终端上的时延(latency)及减小方法）说从本篇开始会切入webRTC中的netEQ主题，netEQ是webRTC中音频技术方面的两大核心技术之一（另一核心技术是音频的前后处理，包括AEC、ANS、AGC等，俗称3A算法）。webRTC是Google收购GIPS重新包装后开源 ...
webRTC中音频相关的netEQ（二）：数据结构
上篇（webRTC中音频相关的netEQ（一）：概述）是netEQ的概述，知道了它主要是用于解决网络延时抖动丢包等问题提高语音质量的，也知道了它有两大单元MCU和DSP组成。MCU 主要是把从网络收到的语音RTP包放进packet buffer内，同时也会根据计算出来的网络延时和抖动缓冲延时 ...
webRTC中音频相关的netEQ（三）：存取包和延时计算
上篇（webRTC中音频相关的netEQ（二）：数据结构）讲了netEQ里主要的数据结构，为理解netEQ的机制打好了基础。本篇主要讲MCU中从网络上收到的RTP包是怎么放进packet buffer和从packet buffer里取出来，以及网络延时值（optBufLevel）和抖动缓冲延时 ...
白话解读 WebRTC 音频 NetEQ 及优化实践
NetEQ 是 WebRTC 音视频核心技术之一，对于提高 VoIP 质量有明显的效果，本文将从更为宏观的视角，用通俗白话介绍 WebRTC 中音频 NetEQ 的相关概念背景和框架原理，以及相关的优化实践。 作者｜ 良逸 审校｜ 泰一 为什么要 “白话” NetEQ? 随便搜索一下 ...
WebRTC中音频设备的约束有哪些以及使用的方法
音频约束参数 volume 音量约束 sampleRate: 采样率 sampleSize: 采样大小，采样的位数 echoCancellation: 回音消除 autoGaincontrol： 增加音量 noiseSuppression: 降噪 latency ...
WebRTC中的NetEQ
NetEQ使得WebRTC语音引擎能够快速且高解析度地适应不断变化的网络环境，确保了音质优美且缓冲延迟最小，其集成了自适应抖动控制以及丢包隐藏算法。 WebRTC和NetEQ概述 WebRTC WebRTC （Web Real-Time Communications） 是一项实时通讯技术 ...
WebRTC笔记（二）NetEQ模块简单分析
NetEQ是WebRTC的音频处理模块，主要包含MCU和DSP两大处理单元，包含自适应缓冲区、语音解码器、抖动控制和丢包隐藏模块及播放四大部分。MCU的主要作用的安排数据包的插入和控制数据包的输出。插入的关注点是插入的位置，输出的关注点是输出的时间。抖动消除的算法思路在MCU控制模块中得以 ...