【音視頻】3A算法

一、分類 + 知識點

• 噪聲抑制（NS）：將噪聲和人聲分成2個頻道處理，實現噪聲抑制，人聲增強。

1. 學習鏈接：http://home.eeworld.com.cn/my/space-uid-238800-blogid-32800.html

2. 直播間關於噪聲的問題：2台手機在同一個直播間，靠近會造成嘈雜聲音大。屬於近距離通話、錄音噪聲問題。

3. 解決辦法：2個麥克風，分別收集，修改底層算法（使用的是什么算法）

4. 常見問題：直播房間里的嘉賓聲音小的問題，可能是在降低噪音的同時連帶人聲也一塊衰減了

• 回聲抵消（EC）：聲學回聲、線路回聲

1. 學習鏈接： https://blog.csdn.net/haima1998/article/details/72676702

2. 聲學回聲形成原因：揚聲器的聲音反饋到麥克風引起，接受者房間的的聲音空間反射，形成回聲重新從麥克風傳入，疊加了新的聲音（需要在接受者房間應用回音抵消模塊）

3. 線路回聲形成原因：物理電子線路的二四線匹配耦合引起的，由於電路存在不匹配的問題，會有一部分信號被反饋回來，形成回音。

4. 解決辦法：在發送時，把不需要的回音從語音流中去掉。通過聲音源，進行參數處理，消除

5. 常見問題：混合的聲音是很難分離，聲音源與遠端參考信號不完全一樣，只是相似度高。通過自適應濾波器進行數學處理。

• 增益控制（GC）：未保持接收機當輸出端的電壓或功率基本保持不變或者恆定

1. 學習鏈接： https://blog.csdn.net/wordwarwordwar/article/details/79539098

2. 原理：

   1. 當輸入信號很弱時，接收機的增益大，自動增益電路不起作用
   2. 當輸入信號很強時，自動增益電路控制，使接收機當增益減小

3. AGC電路（算法）工作原理

   1. 響度增益因子的確定
   2. 把響度增益因子映射到等響度曲線上，確定最終各頻率的增益權重。

4. 新一代引擎：原有的線性濾波器和 NLP 上的優化外，還加入了自研的雙講檢測和 Noise Injection，進一步的提升了AEC在更多場景下的效果。

二、硬件回聲消除

1. 區別：走系統的回聲消除

2. 特點

   1. 得支持通話模式

   2. 一般手機都支持，系統在設定了固定的距離，效果最好

   3. 不可升級

三、軟件回聲消除

1. 走webRTC的回聲消除

2. 特點

   1. webRTC會處理一個最優的距離

   2. webRTC升級迭代，會優化這個回聲

   3. 自研可定制

      "audio": {
      "device_input": 2,
      "aec_mode": -1,
      "agc_mode": -1,
      "anc_mode": -1
      },

3. 效果：一般軟件回聲消除效果會比硬件回聲消除效果好，但跟根據機型特殊情況

 

四、opensl es

定義：嵌入式跨平台免費的音頻處理庫。簡單說麥克風的采集類型

學習地址：https://blog.csdn.net/ywl5320/article/details/78503768