前言
5G 與 AI 時代已來，音視頻技術持續迭代升級，網易雲信推出了全新一代音視頻技術架構。新一代音視頻架構有哪些核心技術？各技術在線上場景又有哪些落地實踐方案？
網易創新企業大會發布了新一代音視頻技術架構，進行了全流程的技術升級，包括新一代音視頻融合通信服務端系統、新一代音視頻 SDK 以及新一代音視頻引擎。本文整理自網易雲信流媒體首席架構師、多媒體開發專家吳桐的大會現場實錄。
本次分享將從以下幾個方面展開:
- 音視頻發展趨勢；
- 新一代音視頻架構升級；
- 新一代音視頻核心技術；
- 新一代音視頻場景落地；
- 總結與展望；
2020 音視頻發展趨勢
2020 年注定是不平凡的一年，從年初疫情就已經感受到這個變化，今天能夠到場和大家面對面交流也是很不容易的。看到海外人民現在還在水深火熱中，我們要感謝祖國的強大。今年新冠疫情的突發，也讓音視頻業務得到一個井噴式的發展，特別是在家辦公期間，視頻會議成為每個人的剛需，也培養了用戶使用視頻會議的習慣。
當然除了疫情以外，5G 的到來以及其大帶寬、低延時、海量連接等特點也進一步豐富了音視頻的應用場景，不僅在傳統的視頻會議、娛樂社交、在線教育、金融和 IoT 等場景下繼續蓬勃發展，還帶動了雲面試、雲相親、雲游戲等新興領域。當然，各場景對音視頻體驗也提出更多差異化的要求：更低的延遲、更高的並發等。視頻會議、在線教育和雲游戲這幾個場景，在未來幾年的增幅都非常大，特別是雲游戲，在 2023 年會達到千億的規模，所以我相信未來的音視頻行業還將持續高速增長，未來有無限的機會等待音視頻行業的從業人員。
隨着音視頻市場的增長，網易雲信也在不斷提升自己在音視頻領域的核心競爭力。在 5G 和 AI 技術變革的推動下，網易雲信在原有音視頻架構的基礎上迭代升級，推出了新一代音視頻技術架構，對音視頻全流程都做了重大升級，主要包括三大架構升級，分別是：新一代音視頻融合通信服務端系統、新一代音視頻 SDK 以及新一代音視頻引擎。
網易雲信新一代音視頻架構升級
新一代音視頻融合通信系統架構
首先看一下網易雲信在新一代音視頻融合通信服務端系統的整體架構圖。
1 流媒體傳輸與處理服務
在這個框架圖中間是流媒體傳輸和處理服務，涵蓋了邊緣媒體接入、實時傳輸網、流媒體處理服務以及直播點播服務。
在新一代架構中，流媒體系統可以兼容各類協議，邊緣媒體服務器既支持雲信 SDK 的接入，也支持標准 Web 端使用 WebRTC 接入；同時，雲信自研了SIP網關服務器，實現了 SIP、PSTN 的接入；使用通用媒體網關實現了標准 RTMP 推流工具、小程序、RTSP 監控攝像頭的接入。
在邊緣媒體服務系統收到各協議客戶端的媒體數據包以后，它會借助雲信自研的實時傳輸網的邊緣節點和路由節點進行全球的實時媒體數據分發，保證端到端的最優體驗。同時利用流媒體處理服務的通用 MCU 和轉碼服務器，可以將媒體流混合后旁路轉推到雲信互動直播服務器，再通過雲信直播的融合 CDN 系統進行分發；還可以在雲端進行錄制后，存儲到雲信的點播服務系統中。
2 全局流媒體控制服務器
架構圖的左側是全局流媒體控制服務，它包括了：頻道與流管理服務、統一媒體調度服務和實時傳輸網調度服務，它是整個音視頻融合通信系統的大腦，由它來動態控制整個系統的運轉。
3 大數據與配置服務
架構圖的右側是雲信的大數據與配置服務系統，其中全局大數據分析和挖掘系統，負責全鏈路采集的數據處理、告警和質量透明，並利用大數據挖掘的結果指導全鏈路各模塊算法和策略的制定。另一個是我們智能全局配置管理和下發服務，負責對各類雲端參數的下發，包括 QoS 參數、音視頻編解碼參數以及 A/B Test 的相關開關。
這里，我們對網易雲信的新一代音視頻融合系統架構做個總結：
- 首先，新一代音視頻融合通信系統是一個混合了實時媒體邊緣服務器、實時傳輸網以及融合 CDN 的一個混合組網系統，它可以滿足用戶對場景和網絡實時性的各類需求；
- 第二，我們將媒體邊緣服務器和媒體網關下沉到邊緣，大大降低了用戶到第一跳接入服務的距離，也可以更好發揮 5G邊緣計算的能力；
- 第三，音視頻系統的控制面和媒體轉發面做了重新的抽象和隔離，音視頻房間和流的管理由控制服務器負責，媒體和實時傳輸網系統只負責流媒體數據的分發，具體這么做的目的和優勢，我們在下文的核心技術部分再做展開。
新一代音視頻 SDK 技術
關於新一代音視頻 SDK 技術，我們做了很清晰的分層設計，將各個模塊做了盡可能的解耦，同時也讓更多的基礎模塊可以下沉，讓更多上層模塊共用代碼；在跨平台封裝層抽象各平台的差異，為 SDK 接口層提供統一調用邏輯。
在 SDK 接口封裝層，我們堅持每個接口都要簡單易用，同時接口之間要盡可能沒有過強的先后順序依賴，降低用戶調用順序不一致導致的異常問題。接口設計的另一要點是：保證全端不管是 Android、iOS、PC 還是 Web，接口統一，多端可以無縫切換開發。網易雲信為了讓用戶更好的使用 SDK，除了文檔以外還推出了易用體系，為開發者提供了 Sample Code、行業解決方案Demo 以及通用的組件，這些都是源碼級別的開源，為開發者提供優質的接入體驗。
新一代音視頻引擎
大家都知道要有一個好的音視頻體驗，優秀的音視頻引擎是基石。所以雲信在設計新一代音視頻引擎時，也是從用戶體驗 QoE 指標為頂層目標，然后依次向下拆解。
從 QoE 的角度，音頻的指標有：是否有卡頓、回聲和噪音，音質如何等；視頻的指標包括：清晰度、流暢度、色彩和畫面觀感等；除此之外，端到端的時延和音畫同步情況也是非常重要 QoE 指標。
要達到這些 QoE 的目標，引擎核心就很重要了，上圖中間部分是雲信的引擎核心層，包含了音頻引擎、視頻引擎、QoS 引擎：
- 音頻引擎：最核心的算法是 3A 算法，雲信為新一代 3A 算法做了大量的升級和優化工作。比如 AEC 除了在原有的線性濾波器和 NLP 上優化，還加入了自研的雙講檢測和 Noise Injection，多維度提升 AEC 在更多場景下的性能。為了進一步提升高音質的效果，我們基於線上真實用戶數據，打造了自動化的線上問題診斷分析工具，並利用機型的雲端適配和無參考打分體系，通過真實數據反饋不斷打磨高音質的效果；
- 視頻引擎：雲信自研的NE264和NEVC視頻編碼器，壓縮效果和速度相比開源編碼器有很大提高；同時雲信實現了高性能的AI超分方案，在視頻后處理部分將低分辨率畫面超分到 720P 乃至更高分辨率，大大提升了上行帶寬不足情況下的視頻體驗，雲信的視頻超分算法工程師做了大量的模型優化，讓超分不再停留在實驗室，並在新一代雲信的音視頻引擎中得到了廣泛應用；
- QoS 引擎：為了在弱網下保證全鏈路的效果，QoS 引擎不僅在 Fec/Red/inBand-Fec 以及 ARQ 部分做了大量智能策略，在擁塞控制和帶寬估計方面通過不斷融合各類優秀算法，比如 GCC、BBR、PCC 等，自研了一套雲信自有的擁塞控制算法，讓雲信的流控算法可以快速匹配各類復雜網絡；
所有引擎核心算法都依賴於引擎平台基礎能力。雲信自研的輕量級AI模型和高性能推理引擎，讓各類 AI 算法在 RTC 高實時性場景實現落地，同時，數據采集與挖掘以及標准化評價體系更讓所有算法、策略有據可依，讓算法與實際效果形成一個完整閉環。我們也會在文章的后半部分進行更深入的介紹。
網易雲信新一代音視頻核心技術
看完架構升級，到了今天分享最核心的部分，我會分別從新一代音視頻融合通信服務端架構、大規模實時傳輸網、網絡QoS引擎、視頻引擎、音頻引擎及全鏈路數據與質量透明六個方面為大家深度剖析雲信新一代音視頻架構的核心技術。
新一代音視頻融合通信服務端架構
1 服務模塊解耦
第一部分先講音視頻融合通信服務端架構。首先來看服務端架構中服務模塊解耦的具體方案，也就是上文提到音視頻系統的控制面和媒體轉發面解耦。客戶端通過信令連接連到邊緣的媒體服務器上后，客戶端音視頻流的發布和訂閱的信息都由邊緣服務器同步給頻道與流管理服務，所有頻道業務層面對流的操作都由管理服務器統一處理。
這么做最大的好處就是邊緣媒體服務器上沒有復雜的頻道狀態，在多台媒體服務器級聯時，無需在媒體服務器之間同步房間以及流的狀態和信息，大大降低了級聯的難度並減少了各級聯的媒體服務器間因狀態不同步導致的問題。通過這個方案，我們就可以相對容易的實現千人乃至萬人大並發房間。
其次，邊緣媒體服務器之間的級聯采用的是無向圖結構，所有級聯的媒體服務器節點都是平等的，沒有頂點就不存在單點故障問題，也提高了整個系統的可靠性。
最后，兩台媒體服務器的級聯，中間鏈路的路由優化由實時傳輸網來做，邊緣媒體服務器本身並不關心中間路徑的規划問題，這么做也進一步解耦了媒體服務器與實時傳輸網系統，實時傳輸網也無需關心具體的音視頻業務。
2 SFU 與 MCU 完美融合
新一代音視頻融合通信服務端的另一個特點，是將 SFU 和 MCU 做了完美融合。大家應該都知道 SFU 和 MCU 是什么，簡單來講，SFU 在服務器上是轉發所有的流給下行的客戶端，而 MCU 是把所有流在服務端混合后再下行。
SFU 和 MCU 各有優劣，SFU 服務端簡單、客戶端布局靈活，但是需要消耗更多流量，也對客戶端性能提出更高的要求；MCU 則把編解碼的性能轉嫁到了服務器上，客戶端布局相對固定，但可以節約下行帶寬，對客戶端的性能開銷更友好。
在雲信老一代架構中，我們僅支持通過互動直播旁路服務器，將 MCU 流轉推給融合 CDN，這樣觀眾能通過播放器拉流來觀看，但延遲相比於 RTC 要高得多。
在新一代音視頻服務器中，我們將原有互動直播內的 MCU 能力抽離，做成一個通用 MCU 服務器，這樣客戶端就可以直接向邊緣媒體服務器訂閱 MCU 流，通過低延遲的 RTC 通道實現 MCU 流的低延遲觀看，當然我們也保留了互動直播旁路推融合 CDN 的通道。所有媒體服務器，包括通用 MCU、互動直播和融合 CDN 的調度，均由統一媒體調度服務負責。使用新一代音視頻系統用戶可以根據自己的場景和實時性要求，靈活選擇兩種方案。
新一代大規模實時傳輸網
雲信自研的大規模分布式實時傳輸網作為雲信新一代音視頻架構服務端的核心部分，今天也是首次對外，我們來具體看看幾個部分的技術細節。
通過上圖可以看到，兩個邊緣媒體服務器在需要級聯的時候，會通過實時傳輸網的邊緣接入節點將流量導入實時傳輸網。實時傳輸網的邊緣節點根據實時傳輸網調度服務的統一調配，通過傳輸網的路由節點，將數據包以最優路徑發送到目的邊緣媒體服務器。在這個過程中，實時傳輸網路由探測和計算服務是鏈路路由選擇且保證最優質量的控制大腦。
這個大規模分布式實時傳輸網有四大特點：
- 低延遲：邊緣接入節點全球覆蓋，可以做到用戶接入超低延遲，質量可以媲美專線；
- 低成本：使用邊緣計算能力，而不是核心 BGP 機房，在降低成本的同時也保證了質量；
- 高可達：實時傳輸網路由節點的路徑規划非常智能，在全球范圍內能做到多通道備份保證數據的高可達；
- 高可靠：實時傳輸網支持分級服務，多個鏈路通道可以同時自動快速切換，能夠在秒級做到故障隔離，保證鏈路的穩定可靠；
總結來說，雲信自研的大規模分布式實時傳輸網，支持了大規模級聯場景下的應用層組播技術，做到流量復用；同時還借鑒媒體服務器的分段 QoS 思路，支持分段重傳和 FEC，保證了全鏈路的網絡傳輸質量。
我們認為做好實時傳輸網絡，有幾個必備條件：
- 節點覆蓋：全球范圍內的節點覆蓋，是做好實時傳輸網的基礎，因此雲信在國內主要省市以及海外各主流國家均部署了流媒體邊緣服務器和實時傳輸網節點，來保證節點高覆蓋；
- 網絡數據量化指標：各個節點之間的網絡情況是一直動態變化的，而 RTC 業務又是對網絡變化特別敏感的，因此需要做好節點間的網絡數據量化指標，根據節點之間探測的丟包、時延、抖動信息給路由路徑打分，評估優質傳輸率，將分數不優的路徑動態剔除並做相應報警；
- QoE 用戶體驗：從客戶端和邊緣流媒體服務器上，采集用戶經過實時傳輸網端到端的網絡數據以及 QoE 數據，為每個實時傳輸網節點進行服務打分，周期性的進行節點間 A/B Test，以賽馬機制最終留下真正能為用戶提供優質 QoE 用戶體驗的節點；
圖中就是雲信實時傳輸網中部分節點路徑的實時數據，由於節點較多，所以我們主要依賴哨兵報警系統進行鏈路告警以及系統的自動非優路徑剔除功能，來保證實時傳輸網的自動運維。
新一代網絡 QoS 引擎
要做好傳輸，僅有好的節點是不夠的，我們還要有好的 QoS 引擎。
1 全鏈路 QoS
做音視頻或者做流媒體的同學對 QoS 應該是耳熟能詳的。我們主要通過以下六個方面展開詳細分析。
- 抗弱網：雲信的抗弱網能力一直保持在業界一流水平，上下行可以對抗 70% 的丟包，像 FEC、RED 以及 HARQ 技術大家都很熟悉，除此之外雲信還利用基於機器學習的 PLC 算法進一步提高音頻丟包后的恢復處理，並使用長參考幀 LTR 技術進一步降低視頻的單幀丟失后連續參考導致的卡頓；
- 去抖動：利用 Jitterbuffer 和 NetEQ 技術是非常成熟的方案，但在新一代 QoS 引擎中， 我們花了很多精力實現 Jitterbuffer 和 ARQ 以及音畫同步模塊的配合策略，在抗住 2000ms 抖動的同時，保證音畫同步還是有不少工程方面的挑戰；
- 智能流控：主要是帶寬估計和擁塞判斷，我們在對 GCC、BBR 和 PCC 等算法進行深入研究的同時，融合各算法的優勢，自研了一套穩定可靠的擁塞控制算法，可以保證帶寬利用率在限制網絡下達到 90%+；同時，要做好流控必須做好全鏈路反饋和源側響應，我們利用 Simulcast 和 SVC 技術增加了調控的維度，並利用全鏈路 VQC 技術保證視頻全鏈路的效果；
- 分段 QoS：雲信在服務端分段 QoS 也做了很多實踐。所謂分段 QoS，就是上行和下行的抗丟包要分段，帶寬估計要分段，只要這樣才能在服務端上針對每個用戶的下行網絡做最優的適配。分段 QoS 在多人視頻會議場景是極其重要的技術手段，雲信在服務端上智能估計每個下行用戶的帶寬，並綜合利用 Simulcast 和 SVC 技術，為每個用戶選擇最優的帶寬分配策略，配合視頻流的選擇策略以最優帶寬利用率來匹配各用戶的下行網絡；除此之外，接入路由優化是做好上行 QoS 的重點，雲信也大量使用了大數據驅動的方式，不斷為每個用戶提供最優的接入邊緣媒體服務器；
- 雲端下發以及自適應配置：一套完善的雲端下發與自適應參數配置服務是必不可少的，除了適配數千款各機型的參數，還需要做差異化場景的自動適配，各個客戶端的差異化需要做好能力協商和能力降級，保證各個客戶端都能有一個最優體驗；
- A/B Test：最后我們認為做 QoS 一定要做 A/B Test，以賽馬機制不斷讓 QoS 算法在線上用真實的用戶網絡來做數據采集，形成一個良性的閉環；
2 帶寬估計和擁塞控制
在帶寬估計方面，我們融合 GCC、BBR 以及 PCC 的思想，做了很多算法和策略上的改進。在線視頻會議的場景下，做到用戶在入會 1 ~ 2 秒內完成帶寬快速探測，達到秒開秒清晰。在帶寬有限的情況下，帶寬利用達到 90%+：
- 帶寬突降時，帶寬估計算法可以在 1~5 秒內完成探測和下調，最大程度避免了擁塞卡頓；
- 帶寬突升時，我們沒有做的特別激進，大概也僅需要 5~10 秒，判斷網絡真實恢復了以后，才會上探到平穩過程，最終達到 90%+ 的帶寬利用；
一般的擁塞控制算法優化流程，都是以實驗室環境為准，這個存在很大局限性。特別是真實中的網絡環境非常復雜，容易受到 WIFI 信號、流量競爭等多種因素的影響。為了解決這個問題，雲信設計了一套基於大數據驅動的擁塞控制算法優化方案。我們在線上全鏈路進行數據采集，並把采集到的數據進行特征提取，然后用這個特征在實驗室內仿真線上網絡環境，然后進行擁塞控制算法的調優和效果驗證。最后通過 A/B Test，在線上驗證算法優化前后的大數據對比進而持續對擁塞控制算法做優化，形成一種良性的閉環。
新一代視頻引擎
聊完 QoS 引擎，我們接着來看視頻引擎。
1 自研視頻編碼器 NEVC
視頻引擎中最核心就是視頻編碼技術，雲信自研了視頻編碼器 NEVC。
如上表，是我們的實測結果：NEVC 與 X264 faster 檔直接對比，速度相當，但是壓縮率提升了 30%。
與 x265 veryslow 檔對比，壓縮率相當，但是速度提升了至少 50 倍以上，在某些 Case 下速度最快還可以達到 80 倍。
NEVC 是雲信視頻引擎的基石，在它的保駕護航下，終端的性能以及全鏈路的視頻效果都有了極大的提高。
2 AI 屏幕共享
除了視頻編碼以外，雲信還針對屏幕共享部分做了專項優化。接收側在收到包含桌面共享的視頻后，首先通過文字識別找出文字區域，對文字區域進行 AI 深度學習優化，讓文字更清晰，利用雲信自研的輕量級深度模型，在異構加速的配合下，可以做到 1080p 實時優化，大大提高了雲信在屏幕共享場景下的效果。
3 AI 超級分辨率
接着看雲信自研的 AI 超級分辨率，其實超分這個話題這幾年一直都很熱門，但是真正將超分落地到 RTC 實際場景的卻很少，主要的原因是要在移動端上實現超分的低功耗和高實時性的難度較大。
雲信基於自研的輕量級網絡，配合上異構的高性能推理引擎，可以做到超低功耗，讓超分算法開銷大大降低，從而在移動端上真正落地。依賴雲信獨有的數據集處理技術，在同樣網絡模型下超分效果更好，相比與其它的上采樣插值算法，雲信自研的 AI 超分的 PSNR 和 SSIM 得分都更高。雲信將 AI 超分真實應用在線上場景，在上行弱網下調分辨率的情況下，在接收端利用AI超分提升視頻畫面質量，讓視頻得到了明顯的效果提升。
上圖為左邊 360P 超分到 720P 真實測試效果，肉眼可見的，超分后清晰度的提升是非常明顯的。
新一代音頻引擎
看完了視頻引擎，接着我們來看看雲信新一代音視頻中的音頻引擎。
這是雲信新一代音頻引擎處理的流程圖，這個圖很復雜，包括里面涉及的技術點有很多，我們展開分析其中幾個重要的技術點。
首先是 3A 算法，對於音頻引擎來說，3A 算法永遠都是重中之重。對回聲消除來說，新一代音頻引擎除了在原有的線性濾波器和 NLP 上的優化外，還加入了自研的雙講檢測和 Noise Injection，進一步的提升了AEC在更多場景下的效果。
對於降噪，我們將降噪流程模塊化后，在場景檢測分類上是采用了 AI 模型算法來做，分別訓練了語音的 AI 模型和噪聲的 AI 模型，讓噪聲識別的性能大大提高，也讓我們基於 AI 的降噪算法相比於傳統降噪效果有了明顯的提升。除了場景檢測和降噪結合了 AI，我們還有很多其他模塊與 AI 進行了深入的融合，而這些 AI 算法都是基於雲信自研的輕量級網絡模型和高性能推理引擎，算法性能大大提高。
音頻算法另一個重要的點就是要做機型適配，我們依賴雲信的大數據采集和無參考打分系統，在雲端做了大量的自動機型適配工作，大大提高了機型適配的效率以及覆蓋。為了進一步量化語音的高音質，我們制定了實驗室標准評價體系，這個評價標准綜合用了客觀指標和主觀的方法，通過這套評價體系，讓我們的音頻算法優化和量化指標可以成為一個良性的閉環，不斷打磨提升雲信的音頻質量。
全鏈路數據與質量透明
最后一個和大家介紹的新一代音視頻核心技術是數據與質量透明體系。大家都知道現在是一個大數據時代，我們認為做好大數據驅動對於音視頻技術持續演進來說極其重要。所以，為了做好大數據驅動，我們從 SDK、引擎、調度服務器、頻道與流管理服務器、邊緣媒體服務器、實時傳輸網，也就是音視頻業務的每一個環節都做了數據采集上報。
實時指標上報指將實時的狀態進行上報，這里涵蓋了 100+ 的關鍵事件，包括用戶行為、各系統行為、QoS 行為還有很多音視頻 QoE 體驗相關的關鍵事件，比如：分辨率切換、登錄耗時、出圖時間等等；還上報了 300+ 的核心指標，這些指標包括：全鏈路的系統運行時狀態，QoS 指標，QoE 指標以及服務端狀態。這些上報的數據都會經由我們大數據平台進行處理，日均有百億行的數據，有 T 級的存儲。利用我們的高性能大數據平台，可以實現秒級實時處理這些數據。
有了這些數據后，我們可以驅動很多事情，包括質量透明平台（對用戶開放）、業務質量報表、產出接入調度優化、大網路由優化、QoS 算法優化、QoE 故障實時告警、各維度聚合質量分析。雲信新一代音視頻，就是在源源不斷的大數據驅動下，不斷打磨，提升自身的質量。
上圖為雲信對用戶開放的質量透明平台，這個平台對各個指標做可視化展示，各個質保的含義清晰易懂，大大降低了用戶問題排查難度，讓用戶對於全鏈路的質量都很明確。
除此之外，這些指標的描述我們都盡可能清晰易懂，全鏈路中的各個指標均清晰可見，不管是實時傳輸網、媒體邊緣服務器以及媒體網關處理的實時效果在質量透明大盤上均有直接的圖形展示。
網易雲信新一代音視頻場景化落地
分享了核心技術，最后一部分看一下實際的落地場景。即便有再好的技術，如果沒辦法落地是沒有用的。所以我們一直堅持在實際的場景里面不斷打磨具體的算法。
雲音樂一起聽-創新音樂社交體驗
這是網易雲音樂一起聽的場景，網易雲音樂在今年七月份上線了“一起聽”：你可以邀請你的好友一起聽歌，同時可以進行實時音頻互動，這是一個完全創新的音樂社交體驗，雲信新一代音視頻的很多核心技術都在這個場景下落地：
- 首先，聊天場景下對延遲要求是很高的，所以整體的低延遲、QoS 的能力在這個場景里面得到了很明確的落地，包括可以明確知道這個效果好還是不好；
- 其次，其對音質的要求很高，你聽音樂肯定不希望語音效果是很差的，這是不能接受的。所以我們的高音質能力，包括 AI 降噪能力都在這個場景中得到了落地和實踐；
- 最后是機型適配，因為像網易雲音樂的用戶有很多，手機也是五花八門的，所以我們需要做很好的機型適配，包括哪個機型沒有回聲，哪個機型的降噪是 OK 的。
通過這些核心能力，網易雲信新一代音視頻保證了網易雲音樂一起聽場景的穩定、可靠和高質量。
雲音樂 Look 直播-建立泛音樂娛樂狀態
網易雲音樂的 Look 直播，是主播之間直播連麥的場景。
- 雲信新一代音視頻的 RTC+Live 的融合通信能力在這個場景落地；
- 同時，該場景對視頻質量有較高的要求，新一代自研高清視頻編碼和視頻 AI 超分能力也在這個場景得到充分驗證；
通過以上兩個場景的落地，雲信也建立了完整的泛音樂娛樂生態。
配音秀-雲信多人語音聊天室解決方案
配音秀是一款多人語聊配音類 App，是一個多人語音連麥互動直播的場景，這個場景相對比較復雜，有以下幾點值得關注：
- 雲信為客戶提供了易用體系中的多人語音聊天室解決方案，依賴於 SDK 的易用性，配音秀僅花一周的時間就接入上線；
- 配音秀對音質要求也很高，所以新一代音視頻的語音 AI 降噪和智能回聲消除主播側的 Noise Injection 能力就為配音提供了高質量的音頻效果；
- QoS 抗弱網和去抖動能力，則保證了配音在12人同時上麥后的網絡穩定性；
逆水寒雲游戲-雲信視頻會議組件化
10月24日，網易在逆水寒雲游戲中舉辦了第二屆國際分布式 AI 大會，每場會議 300 人參會，雲信為逆水寒提供了雲游戲視頻會議組件化的支持。
- 因為有全球范圍內的 300 人參會，新一代音視頻的高性能服務端級聯架構、全球實時傳輸網等能力在這個場景下得到了充分驗證；
- 由於視頻會議參會者很多，需要為每個下行用戶做最優的網絡匹配，因此新一代音視頻的分段 QoS 能力就非常重要；
- 另外參會者大量使用屏幕共享來做 PPT 演講，所以超高清 AI 屏幕共享能力也發揮了重大作用；
這次雲信會議得到了海內外參會者的一致好評。其實，雲信也提出了視頻會議組件，這些組件幫助用戶實現視頻會議場景的時候是非常易於實現的。我覺得這些內容都是雲信在幫助網易內部還是外部落地場景的時候做的思考和總結。
總結
以上就是今天分享的全部內容，做個簡單的總結。
今年網易提出“從0到1是創新，從1到1.1也是創新“的價值觀，網易雲信音視頻已經走過0到1，新一代音視頻要做的就是從1到1.1。我們想要陪伴着客戶一起成長，不斷精細打磨各個垂直場景，在當前從紅海中破浪前行。
在今天的分享中，我相信你已經看到，網易雲信已經在音視頻全鏈路各環節擁抱 AI 技術，因為我們相信人工智能改變現有技術體系，而我更堅信技術是可以改變世界，音視頻領域未來有無限可能！
謝謝大家！
分享嘉賓介紹
吳桐，2013年浙大碩士畢業后加入網易，一直從事流媒體音視頻相關的工作，現為網易雲信流媒體首席架構師、多媒體開發專家，負責整體 RTC、直播、互動直播、傳輸大網及架構的設計和代碼編寫，從零開始參與打造雲信的音視頻技術。