Qt音視頻開發21-通用硬解碼

一、前言

硬件解碼是圖形芯片廠家提出的用GPU資源解碼視頻流的方案，與之相對的是軟解，也就是傳統的用CPU承擔解碼工作的方案；優點是效率高，功耗低、熱功耗低，缺點是缺乏有力的支持（包括濾鏡、字幕等），局限性較大（例如打開硬件解碼后PC的節能方面的功能失效cnq等），設置較為復雜；需要硬件有硬件解碼模塊、相關的驅動配合、合適的播放軟件以及對播放軟件正確的設置，缺一而不能開啟硬件解碼功能，主流的硬件解碼方案由Intel、AMD-ATI以及Nvdia推出。

目前主流的播放器都支持硬解碼，沒有硬解碼的播放器都是耍流氓，現在越來越多2K 4K甚至8K的高清視頻，沒有硬解碼只用軟解碼的話，會大量消耗CPU資源，很不可取，需要專門交給GPU繪制和解碼，這樣可以大大減低CPU的壓力，讓CPU可以干其他的活，之前寫過的視頻監控系統中，就用到過硬解碼和GPU繪制，沒有用到這兩個一切都是空談，根本沒法承受64路通道實時顯示，vlc、ffmpeg、mpv肯定對硬解碼完美支持的，其中vlc和mpv的設置最為簡單，海康的sdk默認不提供硬解碼的，官方手冊中有寫到硬解碼的庫，估計是要額外聯系獲取。

不同內核硬解碼處理

1. vlc硬解碼：
   1.1 通過調用libvlc_media_add_option設置參數：avcodec-hw=auto
   1.2 支持的參數：none auto any d3d11va dxva2

2. ffmpeg硬解碼：
   2.1 調用av_hwdevice_find_type_by_name根據名稱自動尋找硬解碼
   2.2 調用find_fmt_by_hw_type找到對應的硬解碼格式
   2.3 回調videoCtx->get_format = get_hw_format解碼器格式賦值為硬解碼
   2.4 調用av_hwdevice_ctx_create創建硬解碼設備
   2.5 調用avcodec_send_packet avcodec_receive_frame解碼數據
   2.6 調用av_hwframe_transfer_data轉換硬解碼的數據
   2.7 支持的參數：none qsv cuvid d3d11va dxva2

3. mpv硬解碼：
   3.1 通過調用mpv_set_option設置參數hwdec
   3.2 支持的參數：none auto any d3d11va dxva2

二、功能特點

1. 支持多畫面切換，全屏切換等，包括1+4+6+8+9+13+16+25+36+64畫面切換。
2. 支持alt+enter全屏，esc退出全屏。
3. 自定義信息框+錯誤框+詢問框+右下角提示框（包含多種格式）。
4. 17套皮膚樣式隨意更換，所有樣式全部統一，包括菜單等。
5. 雲台儀表盤鼠標移上去高亮，八個方位精准識別。
6. 底部畫面工具欄（畫面分割切換+截圖聲音等設置）移上去高亮。
7. 可在配置文件更改左上角logo+中文軟件名稱+英文軟件名稱。
8. 封裝了百度地圖，視圖切換，運動軌跡，設備點位，鼠標按下獲取經緯度等。
9. 支持圖片地圖，設備按鈕可以在圖片地圖上自由拖動自動保存位置信息。
10. 在百度地圖和圖片地圖上，雙擊視頻可以預覽攝像頭實時視頻。
11. 堆棧窗體，每個窗體都是個單獨的qwidget，方便編寫自己的代碼。
12. 頂部鼠標右鍵菜單，可動態控制時間CPU+左上角面板+左下角面板+右上角面板+右下角面板的顯示和隱藏，支持恢復默認布局。
13. 工具欄可以放置多個小圖標和關閉圖標。
14. 左側右側可拖動拉伸，並自動記憶寬高位置，重啟后恢復。
15. 雙擊攝像機節點自動播放視頻，雙擊節點自動依次添加視頻，會自動跳到下一個，雙擊父節點自動添加該節點下的所有視頻。
16. 攝像機節點拖曳到對應窗體播放視頻，同時支持拖曳本地文件直接播放。
17. 視頻畫面窗體支持拖曳交換，瞬間響應。
18. 雙擊節點+拖曳節點+拖曳窗體交換位置，均自動更新url.txt。
19. 支持從url.txt中加載通道視頻播放，自動記憶最后通道對應的視頻，軟件啟動后自動打開播放。
20. 右下角音量條控件，失去焦點自動隱藏，音量條帶靜音圖標。
21. 集成百度在線地圖和離線地圖，可以添加設備對應位置，自動生成地圖，支持縮放和添加覆蓋物等。
22. 視頻拖動到通道窗體外自動刪除視頻。
23. 鼠標右鍵可刪除當前+所有視頻，截圖當前+所有視頻。
24. 錄像機管理、攝像機管理，可添加刪除修改導入導出打印信息，立即應用新的設備信息生成樹狀列表，不需重啟。
25. 在pro文件中可以自由開啟是否加載地圖。
26. 視頻播放可選2種內核自由切換，vlc+ffmpeg，均可在pro中設置。
27. 可設置1+4+9+16畫面輪詢，可設置輪詢間隔以及輪詢碼流類型等，直接在主界面底部工具欄右側單擊啟動輪詢按鈕即可，再次單擊停止輪詢。
28. 默認超過10秒鍾未操作自動隱藏鼠標指針。
29. 支持onvif搜素設備，支持任意onvif攝像機，包括但不限於海康大華宇視天地偉業華為等。
30. 支持onvif雲台控制，可上下左右移動雲台攝像機，包括復位和焦距調整等。
31. 同時支持sqlite、mysql、postsql等數據庫。
32. 可保存視頻，可選定時存儲或者單文件存儲，可選存儲間隔時間。
33. 可設置視頻流通信方式tcp+udp，可設置視頻解碼是速度優先、質量優先、均衡等。
34. 可設置硬解碼類型，支持qsv、dxva2、d3d11va等。
35. 默認采用opengl繪制視頻，超低的CPU資源占用，支持yuyv和nv12兩種格式繪制，很牛逼。
36. 高度可定制化，用戶可以很方便的在此基礎上衍生自己的功能，支持linux和mac系統。

三、效果圖

四、相關站點

1. 國內站點：https://gitee.com/feiyangqingyun/QWidgetDemo
2. 國際站點：https://github.com/feiyangqingyun/QWidgetDemo
3. 個人主頁：https://blog.csdn.net/feiyangqingyun
4. 知乎主頁：https://www.zhihu.com/people/feiyangqingyun/
5. 體驗地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心代碼

bool FFmpegThread::initHWDeviceOther()
{
#ifdef hardwarespeed
    //根據名稱自動尋找硬解碼
    QByteArray hardwareData = hardware.toUtf8();
    enum AVHWDeviceType type = av_hwdevice_find_type_by_name(hardwareData.data());
    qDebug() << TIMEMS << "AVHWDeviceType" << type;

    //找到對應的硬解碼格式
    hw_pix_fmt = find_fmt_by_hw_type(type);
    if (hw_pix_fmt == -1) {
        qDebug() << TIMEMS << "cannot support hardware";
        return false;
    }

    AVStream *videoStream = formatCtx->streams[videoStreamIndex];
    videoCtx = avcodec_alloc_context3(videoCodec);
    if (!videoCtx) {
        qDebug() << TIMEMS << "avcodec_alloc_context3 error";
        return false;
    }

    int result = -1;
    result = avcodec_parameters_to_context(videoCtx, videoStream->codecpar);
    if (result < 0) {
        qDebug() << TIMEMS << "avcodec_parameters_to_context error";
        return false;
    }

    //解碼器格式賦值為硬解碼
    videoCtx->get_format = get_hw_format;
    //av_opt_set_int(videoCtx, "refcounted_frames", 1, 0);

    //創建硬解碼設備
    AVBufferRef *hw_device_ref;
    result = av_hwdevice_ctx_create(&hw_device_ref, type, NULL, NULL, 0);
    if (result < 0) {
        qDebug() << TIMEMS << "open the hardware device error";
        return false;
    }

    videoCtx->hw_device_ctx = av_buffer_ref(hw_device_ref);
    av_buffer_unref(&hw_device_ref);
#endif
    return true;
}