前言
直播有個人直播（泛娛樂直播）和企業直播（商業&商務直播）之分；個人直播的投入成本低，一部手機便可以隨時隨地開播，且各直播App有足夠多的直播輔助工具來協助開播，對增值服務需求不高；企業直播講究規范，有專門的直播間，投入的人力物力很大，直播影響面廣泛，對專業的直播硬件，PaaS，SaaS等軟件服務以及運營指導，售后服務等多種增值服務都有明確訴求，故本次分析基於TO B的企業直播業務展開。
作者：秦宓
1.直播市場調研
背景
全世界的經濟因疫情不斷放緩，企業競爭激烈，企業開源節流，降本增效的核心訴求越來越強，而數字經濟也在快速發展，逐漸成為新的經濟增長動力；企業直播能推動企業的生產，經營等多個環節的價值提升，控制和節約成本，幫助企業傳播，觸達更多的用戶，從而加速企業的數字化轉型。
資料來源：艾瑞咨詢《2021年中國企業直播服務行業發展研究報告》
直播參與方
- C端用戶：信息獲取，休閑娛樂，購物等；
- B端企業：培訓，會議，運營，營銷等；
- 直播服務商：直播硬件，軟件，雲服務，數據服務，營銷服務，辦公協同等。
B端企業的直播場景
從教育，金融，汽車，醫療，互聯網，傳媒，家居，地產等多個垂直行業，從幾十人的小企業到上萬人的大型企業，企業直播都在快速應用；企業直播有對內，和對外雙重需求；對內主要進行企業培訓，會議會展，企業宣傳；對外進行產品介紹，賽事直播，電商帶貨等。
B端企業對直播的訴求
相比於公有雲，企業更希望融合了公有雲和私有雲的混合雲模式，在獲取公有雲的低成本功能迭代和穩定性能的同時，保持對業務定制的能力；兼具PaaS和SaaS特性的aPaaS服務能更好地滿足企業搭建直播系統的需要（甚至是企業搭建自己的視頻中台），aPaaS提供的低代碼，可擴展，彈性伸縮的能力讓企業的直播服務可以進行更好地定制化；同時低延遲，超高清，高並發，高安全性是衡量用戶體驗的重要指標。
直播服務商的架構與生態
直播服務商提供了上游，中游，下游的一站式解決方案，同時不斷地集成CRM，HRM，協同辦公，數據服務等企業級服務，讓直播服務與其他企業級服務產生協同效應，打造以直播業務為核心的企業服務生態。
資料來源：艾瑞咨詢《2021年中國企業直播服務行業發展研究報告》
IoT定位和機會在哪？
IoT基於自身定位和技術優勢，更有可能在上游提供直播所需的CDN分發，智能審核，轉碼，點播等基礎能力，同時在中游聚焦智能化直播硬件，直播PaaS（iPaaS，aPaaS），數據分析服務等方面的研發；在生態協上集成釘釘辦公服務，友盟營銷服務等來為直播服務商提供有競爭力的核心能力，先TO B再TO C，輸出有競爭力的核心軟硬件能力來為直播服務商賦能。
2. 直播相關技術
直播相關的技術涉及到基本的設備端的推拉流以及對應協議，雲端的轉碼，審核，水印等功能；也包含運行在設備端和雲端的一些AI算法能力。
直播服務流程
- 主播端：采集封裝好的音視頻直播流被推流SDK推送到直播服務中心；
- 服務端：推送的視頻流通過CDN分發節點進行加速，以此來保證上行傳輸的穩定性；
- 服務端：視頻流推送至多媒體直播中心后，可按需對視頻流進行轉碼，錄制，截圖，安全審核等處理；
- 觀眾端：處理好的視頻流通過CDN分發節點下發至觀眾的設備中進行播放；
- 觀眾端：直播視頻還可以在雲端錄制下來后轉至點播系統提供點播服務。
多媒體框架
FFmpeg：
- 集錄制，轉換，音/視頻編碼解碼功能於一體的完整開源解決方案；
- 支持視頻采集，視頻格式轉換，視頻抓圖，視頻加水印，將音/視頻轉化成流；
- 可將攝像頭的視頻，麥克風的音頻以指定格式（如FLV）來進行RTMP協議的推流；
- 支持協議：HTTP，RTP，RTSP，RTMP等。
核心模塊：
- 讀/寫設備數據模塊：libavdevice；
- 音/視頻編解碼模塊：libavcodec（codec =enCode （編碼）+ deCode（解碼））；
- 音/視頻格式打包和解包模塊：libavformat；
- 播放器（用ffmpeg解析和解碼，可以用拉流播放）：ffplay。
編碼（壓縮處理，便於存儲和傳輸）格式：
- 視頻：H.262，H.264，H.265（有版權）；VP8，VP9，AV1（無版權）；
- 音頻：MP3，AAC等；
- 常用編碼器：
- 視頻：libx264（H.264格式），libx265，libvpx（VP8，VP9格式），libaom（AV1格式）；
- 音頻：aac（AAC格式）。
推拉流流程：
硬件加速編解碼：
-
FFmpeg通過hwaccel cuda，h264_cuvid，hevc_cuvid和h264_nvenc，hevc_nvenc模塊支持硬件加速編碼和解碼（存在NVIDIA GPU情況下），硬件編解碼器能產生與軟件編解碼器相同的輸出，但可能使用更少的功率和CPU；
-
硬件編解碼用到GPU處理能力，省電，性能快，分擔CPU壓力和減少CPU發熱，由於不同硬件平台的芯片性能和接口參數不一樣，需要硬件廠商在硬件和軟件層面做適配；軟件編解碼不用GPU，主要通過CPU進行的編解碼，耗電，性能較差，但對各個硬件平台的兼容性強；一般的直播平台都會基於設備的具體配置做自適應來保障直播效果。
常用直播協議
RTMP（Real Time Streaming Protocol）
- Adobe 實時消息傳輸協議，基於TCP長連接，支持FLV格式的連續視頻流（收到數據立刻轉發）；
- 低延時（1~3S），但在iOS平台上沒有提供原生支持RTMP的播放器；
- 默認使用1935非公共端口，易被防火牆阻攔，在iOS端需要使用第三方解碼器；
- 適合用在推流端和拉流端雙端。
HTTP-FLV（HTTP Flash Video）
- 基於HTTP長連接的RTMP，低延時（1~3S），支持HTML5；
- 將音/視頻數據封裝成FLV格式，然后通過HTTP協議傳輸；
- 結合了RTMP的低延時，以及復用現有HTTP分發資源的流式協議；
- 實時性和RTMP相等，與RTMP比省去部分協議交互時間，首屏時間更短，可拓展的功能更多；
- HTTP-FLV一般用於拉流播放。
HLS（HTTP Live Streaming）
- Apple視頻直播技術，支持m3u8格式的切片視頻流；
- 在服務端收集一段時間的流媒體並切割，生成連續的ts切片文件，並更新m3u8索引；
- 延遲性高（5~20S），基於HTTP短連接，需要不斷地與服務器建立連接，支持HTML5；
- 由於是基於HTTP/80傳輸，能有效避免防火牆攔截；
- HLS一般用於拉流播放或者回看。
直播相關算法
直播內容審核（雲側）
- 由於內容量巨大，人工審核成本高，AI審核可以基於鑒黃，暴力，恐怖等內容進行過濾。
個性化推薦（雲側）
- 面向主動搜索，或場景識別的個性化推薦，基於實時興趣進行相關內容推薦。
廣告營銷（雲側）
- 基於直播視頻內容，場景等進行廣告推廣，進行直播內容的商業化變現。
直播美顏（設備側）
- 直播美顏（美白，磨皮，貼紙，濾鏡），美型（關鍵點檢測，五官調整）等；
- 設備側算法推理需要在滿足效果的情況下兼顧實時性要求，同時要適配不同的硬件配置。
3. 直播一體機訴求
傳統基於手機的直播存在各種各樣的問題，市面上一直有對直播一體機這樣的專業智能設備的訴求，用來進行直播活動的全流程功能管控和提效。
傳統直播道具存在的問題
- 手機直播發熱卡頓，直播畫面小，和粉絲互動不方便，也不能拓展到其他高端專業的直播外接設備；
- 配齊手機，電腦，大屏同屏器，導播台，編碼器，音控台等設備進行直播，協同麻煩，操作過於復雜；
- 復雜的設備協同需要多人參與來進行一場直播，人力成本貴；
- 直播間裝飾，需要設計，材料，人工等額外費用，且不能一鍵隨意切換來改變直播間的背景；
- 無法同時支持多機位，多個攝像頭之間無法協同工作，實現遠/近景，產品特寫，畫中畫等效果。
直播一體機可集成功能
- 集多功能於一體：集成導播台，編碼器，采集卡，監視器，音控台，同屏器，提詞器於一體；
- 實時摳圖功能：一鍵可切換直播背景，免去直播間的裝修；支持圖片，PPT，視頻作為直播背景；
- 多機位可切換：全景，近景，特寫機位，可以多角度呈現直播的賣點；
- 支持多攝像頭：可以支持HDMI，USB等多路攝像頭接入；
- 支持一鍵開播：內置主流的如淘寶直播，抖音，快手，小紅書等直播平台，可以一鍵開播；
- 多媒體接口擴展：可擴展單反，攝像機，微單，麥克風，聲卡，鍵盤鼠標等多媒體設備；
- 遠程OTA能力：系統，功能（包括內置App升級，新裝App等），性能等升級均可遠程OTA升級。
直播一體機軟硬件配置
硬件設備：
- 直播一體機（安卓系統，帶CPU，GPU能力）；
- 攝像頭（支持多機位）。
輔助設備：
- 燈光，無線麥克風，綠幕摳像布。
軟件套件：
- 集成綠幕摳圖, 直播貼片, 多路導播，畫中畫，水印，機位切換，音頻/畫質調節，提詞器等能力；
- 軟件可拆分為基礎軟件包與直播高級功能輔助包。
商業模式：
- 硬件一次性采購，軟件套件可以按年收取服務費用。
由直播一體機需求到物聯網設備智能化普及的進階
由於手機直播的不足帶來的直播一體機的需求，推進了以直播硬件為載體的直播一體化完整解決方案的訴求，而這還只是當前萬千行業的冰山一角。目前IoT（物理網）已經在AIoT（人工智能物聯網）和IIoT（工業物聯網）兩個方向上飛速發展；尤其是是在AIoT領域，已經滲透到社區，園區，城市，農業，商業等眾多領域，並逐漸形成端，邊，管，雲一體化的各個細分方向的專業化解決方案。
硬件智能化便是這些解決方案的基石，被智能化的硬件本着數據就近消費，算力就近計算的原則，與邊緣計算，雲計算進行協同互聯，推進了AIoT的加速普及；未來在端側， 邊緣側將會有120億的IoT設備，1500億的嵌入式設備，而這些都將是可以智能化的沃土。
本調研從大家熟悉的直播業務出發，拆解直播一體機這種智能化硬件設備訴求和組成。這樣的智能化硬件已經非常多了，如雲POS機，雲投屏機，電子智能秤，AI攝像頭，Vlog互動屏，安防邊緣一體機，商業客流分析一體機，工業瑕疵檢測一體機等，會逐一對以前已有的各種設備進行一遍智慧化的改造。
IoT的時代永遠不會到來，因為它從現在開始的每天都在不斷地到來中，未來不管是在芯片硬件，操作系統，算法推理，數據分析，工程集成，雲端監控 & 運維等都蘊含着巨量的機會，等待大家一起挖掘。
「視頻雲技術」你最值得關注的音視頻技術公眾號，每周推送來自阿里雲一線的實踐技術文章，在這里與音視頻領域一流工程師交流切磋。公眾號后台回復【技術】可加入阿里雲視頻雲產品技術交流群，和業內大咖一起探討音視頻技術，獲取更多行業最新信息。