Qt音視頻開發7-ffmpeg音頻播放

一、前言

之前用ffmpeg解碼出來了音頻，只是做了存儲部分，比如存儲成aac文件，播放的話早期用的是sdl來播放音頻，自從Qt5以后提供了QAudioOutput來播放輸入的音頻數據，就更加方便了，可以直接將解碼好的音頻數據寫入就能播放了，這些就少了個學習sdl的成本，而且和Qt就更加融合，不需要額外的第三方庫，解碼好的視頻，其實就是一張張圖片數據，可以直接用QPainter繪制或者QOpenGlWidget通過GPU顯示，解碼好的音頻用QAudioOutput播放，這對於很多初學者來說，是個很好的消息，完美。

音頻播放大致的流程如下：

1. 初始化格式QAudioFormat，設置對應的屬性。
2. 初始化一個QAudioOutput音頻播放對象。
3. 將QAudioOutput啟動后的播放設備交給QIODevice。
4. 打開音頻流后初始化SwrContext用來轉換音頻數據。
5. 循環解碼音頻數據后調用swr_convert轉換音頻數據。
6. 將轉換好的音頻數據直接write到QIODevice。

二、功能特點

1. 多線程實時播放視頻流+本地視頻+USB攝像頭等。
2. 支持windows+linux+mac，支持ffmpeg3和ffmpeg4，支持32位和64位。
3. 多線程顯示圖像，不卡主界面。
4. 自動重連網絡攝像頭。
5. 可設置邊框大小即偏移量和邊框顏色。
6. 可設置是否繪制OSD標簽即標簽文本或圖片和標簽位置。
7. 可設置兩種OSD位置和風格。
8. 可設置是否保存到文件以及文件名。
9. 可直接拖曳文件到ffmpegwidget控件播放。
10. 支持h265視頻流+rtmp等常見視頻流。
11. 可暫停播放和繼續播放。
12. 支持存儲單個視頻文件和定時存儲視頻文件。
13. 自定義頂部懸浮條，發送單擊信號通知，可設置是否啟用。
14. 可設置畫面拉伸填充或者等比例填充。
15. 可設置解碼是速度優先、質量優先、均衡處理。
16. 可對視頻進行截圖（原始圖片）和截屏。
17. 錄像文件存儲支持裸流和MP4文件。
18. 支持qsv、dxva2、d3d11va等硬解碼。
19. 支持opengl繪制視頻數據，極低CPU占用。
20. 支持嵌入式linux，交叉編譯即可。

三、效果圖

四、相關站點

1. 國內站點：https://gitee.com/feiyangqingyun/QWidgetDemo
2. 國際站點：https://github.com/feiyangqingyun/QWidgetDemo
3. 個人主頁：https://blog.csdn.net/feiyangqingyun
4. 知乎主頁：https://www.zhihu.com/people/feiyangqingyun/
5. 體驗地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心代碼

void FFmpegThread::initAudioDevice(int sampleRate, int sampleSize, int channelCount)
{
#if (QT_VERSION > QT_VERSION_CHECK(5,0,0))
    QAudioFormat format;
    format.setCodec("audio/pcm");
    format.setSampleRate(sampleRate);
    format.setSampleSize(sampleSize * 8);
    format.setChannelCount(channelCount);
    format.setSampleType(QAudioFormat::SignedInt);
    format.setByteOrder(QAudioFormat::LittleEndian);

    QAudioDeviceInfo info(QAudioDeviceInfo::defaultOutputDevice());
    audioDeviceOk = info.isFormatSupported(format);
    if (audioDeviceOk) {
        audioOutput = new QAudioOutput(format);
        audioDevice = audioOutput->start();
    } else {
        qDebug() << TIMEMS << "Raw audio format not supported by backend, cannot play audio.";
    }
#endif
}

void FFmpegThread::freeAudioDevice()
{
#if (QT_VERSION > QT_VERSION_CHECK(5,0,0))
    audioOutput->stop();
    audioOutput->deleteLater();
#endif
}

void FFmpegThread::decodeAudio()
{
    //沒有啟用解碼音頻
    if (!playAudio) {
        return;
    }

    //保存音頻流數據到文件
    saveFileAac();

    //設備不正常則不解碼
    if (!audioDeviceOk) {
        return;
    }

    //解碼音頻流
    frameFinish = avcodec_decode_audio4(audioCtx, audioFrame, &frameFinish, tempPacket);
    if (frameFinish) {
        int result = swr_convert(audioSwrCtx, &audioData, audioFrame->nb_samples, (const uint8_t **)audioFrame->data, audioFrame->nb_samples);
        if (result) {
            int outsize = av_samples_get_buffer_size(NULL, audioCtx->channels, audioFrame->nb_samples, AV_SAMPLE_FMT_S16, 0);
            audioDevice->write((char *)audioData, outsize);
        }
    }
}