歡迎訪問我的GitHub
https://github.com/zq2599/blog_demos
內容：所有原創文章分類匯總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；
本篇概覽
- 本文是《JavaCV的攝像頭實戰》的第六篇，在《JavaCV的攝像頭實戰之三：保存為mp4文件》一文中，咱們將攝像頭的內容錄制為mp4文件，相信聰明的您一定覺察到了一縷瑕疵：沒有聲音
- 雖然《JavaCV的攝像頭實戰》系列的主題是攝像頭處理，但顯然音視頻健全才是最常見的情況，因此就在本篇補全前文的不足吧：編碼實現攝像頭和麥克風的錄制
關於音頻的采集和錄制
- 本篇的代碼是在《JavaCV的攝像頭實戰之三：保存為mp4文件》源碼的基礎上增加音頻處理部分
- 編碼前，咱們先來分析一下，增加音頻處理后具體的代碼邏輯會有哪些變化
- 只保存視頻的操作，與保存音頻相比，步驟的區別如下圖所示，深色塊就是新增的操作：
- 相對的，在應用結束時，釋放所有資源的時候，音視頻的操作也比只有視頻時要多一些，如下圖所示，深色就是釋放音頻相關資源的操作：
-
為了讓代碼簡潔一些，我將音頻相關的處理都放在名為AudioService的類中，也就是說上面兩幅圖的深色部分的代碼都在AudioService.java中，主程序使用此類來完成音頻處理
-
接下來開始編碼
開發音頻處理類AudioService
- 首先是剛才提到的AudioService.java，主要內容就是前面圖中深色塊的功能，有幾處要注意的地方稍后會提到：
package com.bolingcavalry.grabpush.extend;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avcodec;
import org.bytedeco.javacv.FFmpegFrameRecorder;
import org.bytedeco.javacv.FrameRecorder;
import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.DataLine;
import javax.sound.sampled.TargetDataLine;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.ShortBuffer;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
/**
* @author willzhao
* @version 1.0
* @description 音頻相關的服務
* @date 2021/12/3 8:09
*/
@Slf4j
public class AudioService {
// 采樣率
private final static int SAMPLE_RATE = 44100;
// 音頻通道數，2表示立體聲
private final static int CHANNEL_NUM = 2;
// 幀錄制器
private FFmpegFrameRecorder recorder;
// 定時器
private ScheduledThreadPoolExecutor sampleTask;
// 目標數據線，音頻數據從這里獲取
private TargetDataLine line;
// 該數組用於保存從數據線中取得的音頻數據
byte[] audioBytes;
// 定時任務的線程中會讀此變量，而改變此變量的值是在主線程中，因此要用volatile保持可見性
private volatile boolean isFinish = false;
/**
* 幀錄制器的音頻參數設置
* @param recorder
* @throws Exception
*/
public void setRecorderParams(FrameRecorder recorder) throws Exception {
this.recorder = (FFmpegFrameRecorder)recorder;
// 碼率恆定
recorder.setAudioOption("crf", "0");
// 最高音質
recorder.setAudioQuality(0);
// 192 Kbps
recorder.setAudioBitrate(192000);
// 采樣率
recorder.setSampleRate(SAMPLE_RATE);
// 立體聲
recorder.setAudioChannels(2);
// 編碼器
recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
}
/**
* 音頻采樣對象的初始化
* @throws Exception
*/
public void initSampleService() throws Exception {
// 音頻格式的參數
AudioFormat audioFormat = new AudioFormat(SAMPLE_RATE, 16, CHANNEL_NUM, true, false);
// 獲取數據線所需的參數
DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);
// 從音頻捕獲設備取得其數據的數據線，之后的音頻數據就從該數據線中獲取
line = (TargetDataLine)AudioSystem.getLine(dataLineInfo);
line.open(audioFormat);
// 數據線與音頻數據的IO建立聯系
line.start();
// 每次取得的原始數據大小
final int audioBufferSize = SAMPLE_RATE * CHANNEL_NUM;
// 初始化數組，用於暫存原始音頻采樣數據
audioBytes = new byte[audioBufferSize];
// 創建一個定時任務，任務的內容是定時做音頻采樣，再把采樣數據交給幀錄制器處理
sampleTask = new ScheduledThreadPoolExecutor(1);
}
/**
* 程序結束前，釋放音頻相關的資源
*/
public void releaseOutputResource() {
// 結束的標志，避免采樣的代碼在whlie循環中不退出
isFinish = true;
// 結束定時任務
sampleTask.shutdown();
// 停止數據線
line.stop();
// 關閉數據線
line.close();
}
/**
* 啟動定時任務，每秒執行一次，采集音頻數據給幀錄制器
* @param frameRate
*/
public void startSample(double frameRate) {
// 啟動定時任務，每秒執行一次，采集音頻數據給幀錄制器
sampleTask.scheduleAtFixedRate((Runnable) new Runnable() {
@Override
public void run() {
try
{
int nBytesRead = 0;
while (nBytesRead == 0 && !isFinish) {
// 音頻數據是從數據線中取得的
nBytesRead = line.read(audioBytes, 0, line.available());
}
// 如果nBytesRead<1，表示isFinish標志被設置true，此時該結束了
if (nBytesRead<1) {
return;
}
// 采樣數據是16比特，也就是2字節，對應的數據類型就是short，
// 所以准備一個short數組來接受原始的byte數組數據
// short是2字節，所以數組長度就是byte數組長度的二分之一
int nSamplesRead = nBytesRead / 2;
short[] samples = new short[nSamplesRead];
// 兩個byte放入一個short中的時候，誰在前誰在后？這里用LITTLE_ENDIAN指定拜訪順序，
ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);
// 將short數組轉為ShortBuffer對象，因為幀錄制器的入參需要該類型
ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);
// 音頻幀交給幀錄制器輸出
recorder.recordSamples(SAMPLE_RATE, CHANNEL_NUM, sBuff);
}
catch (FrameRecorder.Exception e) {
e.printStackTrace();
}
}
}, 0, 1000 / (long)frameRate, TimeUnit.MILLISECONDS);
}
}
- 上述代碼中，有兩處要注意：
- 重點關注recorder.recordSamples，該方法將音頻存入了mp4文件
- 定時任務是在一個新線程中執行的，因此當主線程結束錄制后，需要中斷定時任務中的while循環，因此新增了volatile類型的變量isFinish，幫助定時任務中的代碼判斷是否立即結束while循環
改造原本只存視頻的代碼
-
接着是對《JavaCV的攝像頭實戰之三：保存為mp4文件》一文中RecordCameraSaveMp4.java的改造，為了不影響之前章節在github上的代碼，這里我新增了一個類RecordCameraSaveMp4WithAudio.java，內容與RecordCameraSaveMp4.java一模一樣，接下來咱們來改造這個RecordCameraSaveMp4WithAudio類
-
先增加AudioService類型的成員變量：
// 音頻服務類
private AudioService audioService = new AudioService();
- 接下來是關鍵，initOutput方法負責幀錄制器的初始化，現在要加上音頻相關的初始化操作，並且還要啟動定時任務去采集和處理音頻，如下所示，AudioService的三個方法都在此調用了，注意定時任務的啟動要放在幀錄制器初始化之后：
@Override
protected void initOutput() throws Exception {
// 實例化FFmpegFrameRecorder
recorder = new FFmpegFrameRecorder(RECORD_FILE_PATH, // 存放文件的位置
getCameraImageWidth(), // 分辨率的寬，與視頻源一致
getCameraImageHeight(), // 分辨率的高，與視頻源一致
0); // 音頻通道，0表示無
// 文件格式
recorder.setFormat("mp4");
// 幀率與抓取器一致
recorder.setFrameRate(getFrameRate());
// 編碼格式
recorder.setPixelFormat(AV_PIX_FMT_YUV420P);
// 編碼器類型
recorder.setVideoCodec(avcodec.AV_CODEC_ID_MPEG4);
// 視頻質量，0表示無損
recorder.setVideoQuality(0);
// 設置幀錄制器的音頻相關參數
audioService.setRecorderParams(recorder);
// 音頻采樣相關的初始化操作
audioService.initSampleService();
// 初始化
recorder.start();
// 啟動定時任務，采集音頻幀給幀錄制器
audioService.startSample(getFrameRate());
- output方法保存原樣，只處理視頻幀（音頻處理在定時任務中）
@Override
protected void output(Frame frame) throws Exception {
// 存盤
recorder.record(frame);
}
- 釋放資源的方法中，增加了音頻資源釋放的操作：
@Override
protected void releaseOutputResource() throws Exception {
// 執行音頻服務的資源釋放操作
audioService.releaseOutputResource();
// 關閉幀錄制器
recorder.close();
}
- 至此，將攝像頭視頻和麥克風音頻存為mp4文件的功能已開發完成，再寫上main方法，注意參數30表示抓取和錄制的操作執行30秒，注意，這是程序執行的時長，不是錄制視頻的時長：
public static void main(String[] args) {
// 錄制30秒視頻
new RecordCameraSaveMp4WithAudio().action(30);
}
- 運行main方法，等到控制台輸出下圖紅框的內容時，表示視頻錄制完成：
- 打開mp4文件所在目錄，如下圖，紅框中就是剛剛生成的文件和相關信息，注意藍框的內容，證明該文件包含了視頻和音頻的數據：
-
用VLC播放驗證，結果視頻和聲音都正常
-
至此，咱們已完成了保存音視頻文件的功能，得益於JavaCV的強大，整個過程是如此的輕松愉快，接下來請繼續關注欣宸原創，《JavaCV的攝像頭實戰》系列還會呈現更多豐富的應用；
源碼下載
- 《JavaCV的攝像頭實戰》的完整源碼可在GitHub下載到，地址和鏈接信息如下表所示(https://github.com/zq2599/blog_demos)：
| 名稱 | 鏈接 | 備注 |
|---|---|---|
| 項目主頁 | https://github.com/zq2599/blog_demos | 該項目在GitHub上的主頁 |
| git倉庫地址(https) | https://github.com/zq2599/blog_demos.git | 該項目源碼的倉庫地址，https協議 |
| git倉庫地址(ssh) | git@github.com:zq2599/blog_demos.git | 該項目源碼的倉庫地址，ssh協議 |
- 這個git項目中有多個文件夾，本篇的源碼在javacv-tutorials文件夾下，如下圖紅框所示：
- javacv-tutorials里面有多個子工程，《JavaCV的攝像頭實戰》系列的代碼在simple-grab-push工程下：
你不孤單，欣宸原創一路相伴
搜索「程序員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos