原文:WebRTC源码分析:音频模块结构分析

一 概要介绍WebRTC的音频处理流程,见下图: webRTC将音频会话抽象为一个通道Channel,譬如A与B进行音频通话,则A需要建立一个Channel与B进行音频数据传输。上图中有三个Channel,每个Channel包含编解码和RTP RTCP发送功能。 以一个Channel而言,应用程序中将包含三个活动线程,录音线程,音频接收线程和播放线程。 录音线程:负责麦克风音频的采集,见图中红色 ...

2015-04-28 14:10 0 3103 推荐指数:

查看详情

webrtc源码分析(7)-fec

1.前言 本文介绍了webrtc中的fec相关封装原理, 协议,分析其在webrtc中的应用过程和使用策略。 2.正文 2.1 red 为什么做red封装呢?Ulpfec编码后的内容会做Red封装后再放入RtpPacket,可fec在RFC5109已经定义好自己的传输格式,而且sdp协商 ...

Sat Sep 25 10:27:00 CST 2021 0 256
webrtc源码分析(5)-Api接口

1.前言 本文介绍webrtc的API层整体结构和通话的api流程, 适合作为对webrtc有一定认知但是想研究源码的第一篇文章,推荐piasy的webrtc源码导读13以及webrtc源码导读10,本文实际就是在它们的基础上结合了webrtc源码上的example分析, 如果想要进一步分析整个 ...

Sat Jul 31 06:49:00 CST 2021 0 285
同网页的WebRTC实现与源码分析

基本按照Real time communication with WebRTC搭建(下面简称该网站为官方tutorial) 本文重视WebRTC的基于同页面通信的代码实现,主要讲述顺序是WebRTC的三大API顺序,一些原理、拓展的部分在链接和后续中 目录 ...

Sun Sep 01 01:58:00 CST 2019 0 446
WebRTC笔记(二)NetEQ模块简单分析

NetEQ是WebRTC音频处理模块,主要包含MCU和DSP两大处理单元,包含自适应缓冲区、语音解码器、抖动控制和丢包隐藏模块及播放四大部分。MCU的主要作用的安排数据包的插入和控制数据包的输出。插入的关注点是插入的位置,输出的关注点是输出的时间。抖动消除的算法思路在MCU控制模块中得以 ...

Mon Apr 06 02:33:00 CST 2020 0 1140
webrtc源码分析(4)-视频发送流程

1.前言 本文介绍了webrtc中视频的基本发送流程,阐述了视频如何从编码,到RTP打包,到Paced控制,经过ICE发送的流程 webrtc版本:M91 2.正文 2.1整体概览 本节介绍涉及到媒体发送设计的整体类图层次,结构上如下: PeerConnection:代表对等 ...

Wed Aug 18 09:57:00 CST 2021 0 357
WebRTC 源码分析(二):安卓预览

有过一定相机开发经验的朋友可能会疑惑,预览还有什么好分析的,不是直接 camera.setPreviewDisplay 或者 camera.setPreviewTexture 就能在 SurfaceView/TextureView 上预览了吗?实际上预览还有更高级的玩法,尤其是需要加上图像处理功能 ...

Tue Aug 21 17:57:00 CST 2018 0 957
webrtc源码分析(6)- jitter delay计算详解

1. 前言 本文主要介绍webrtc jitter buffer中的对于视频帧抖动的计算,关于jitter buffer如何处理乱序组帧的可以参考WebRTC视频JitterBuffer详解,关于处理的抖动后,如何保证视频和音频的同步的可以参考WebRTC音视频同步详解 webrtc版本 ...

Mon Jul 12 18:26:00 CST 2021 0 552
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM