原文:WebRTC源碼分析:音頻模塊結構分析

一 概要介紹WebRTC的音頻處理流程,見下圖: webRTC將音頻會話抽象為一個通道Channel,譬如A與B進行音頻通話,則A需要建立一個Channel與B進行音頻數據傳輸。上圖中有三個Channel,每個Channel包含編解碼和RTP RTCP發送功能。 以一個Channel而言,應用程序中將包含三個活動線程,錄音線程,音頻接收線程和播放線程。 錄音線程:負責麥克風音頻的采集,見圖中紅色 ...

2015-04-28 14:10 0 3103 推薦指數:

查看詳情

webrtc源碼分析(7)-fec

1.前言 本文介紹了webrtc中的fec相關封裝原理, 協議,分析其在webrtc中的應用過程和使用策略。 2.正文 2.1 red 為什么做red封裝呢?Ulpfec編碼后的內容會做Red封裝后再放入RtpPacket,可fec在RFC5109已經定義好自己的傳輸格式,而且sdp協商 ...

Sat Sep 25 10:27:00 CST 2021 0 256
webrtc源碼分析(5)-Api接口

1.前言 本文介紹webrtc的API層整體結構和通話的api流程, 適合作為對webrtc有一定認知但是想研究源碼的第一篇文章,推薦piasy的webrtc源碼導讀13以及webrtc源碼導讀10,本文實際就是在它們的基礎上結合了webrtc源碼上的example分析, 如果想要進一步分析整個 ...

Sat Jul 31 06:49:00 CST 2021 0 285
同網頁的WebRTC實現與源碼分析

基本按照Real time communication with WebRTC搭建(下面簡稱該網站為官方tutorial) 本文重視WebRTC的基於同頁面通信的代碼實現,主要講述順序是WebRTC的三大API順序,一些原理、拓展的部分在鏈接和后續中 目錄 ...

Sun Sep 01 01:58:00 CST 2019 0 446
WebRTC筆記(二)NetEQ模塊簡單分析

NetEQ是WebRTC音頻處理模塊,主要包含MCU和DSP兩大處理單元,包含自適應緩沖區、語音解碼器、抖動控制和丟包隱藏模塊及播放四大部分。MCU的主要作用的安排數據包的插入和控制數據包的輸出。插入的關注點是插入的位置,輸出的關注點是輸出的時間。抖動消除的算法思路在MCU控制模塊中得以 ...

Mon Apr 06 02:33:00 CST 2020 0 1140
webrtc源碼分析(4)-視頻發送流程

1.前言 本文介紹了webrtc中視頻的基本發送流程,闡述了視頻如何從編碼,到RTP打包,到Paced控制,經過ICE發送的流程 webrtc版本:M91 2.正文 2.1整體概覽 本節介紹涉及到媒體發送設計的整體類圖層次,結構上如下: PeerConnection:代表對等 ...

Wed Aug 18 09:57:00 CST 2021 0 357
WebRTC 源碼分析(二):安卓預覽

有過一定相機開發經驗的朋友可能會疑惑,預覽還有什么好分析的,不是直接 camera.setPreviewDisplay 或者 camera.setPreviewTexture 就能在 SurfaceView/TextureView 上預覽了嗎?實際上預覽還有更高級的玩法,尤其是需要加上圖像處理功能 ...

Tue Aug 21 17:57:00 CST 2018 0 957
webrtc源碼分析(6)- jitter delay計算詳解

1. 前言 本文主要介紹webrtc jitter buffer中的對於視頻幀抖動的計算,關於jitter buffer如何處理亂序組幀的可以參考WebRTC視頻JitterBuffer詳解,關於處理的抖動后,如何保證視頻和音頻的同步的可以參考WebRTC音視頻同步詳解 webrtc版本 ...

Mon Jul 12 18:26:00 CST 2021 0 552
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM