媒體應用視頻超分AI神器！360P視頻一鍵轉換HD

作為多媒體應用的開發者，你是否想為媒體播放器快速開發創新AI功能？例如：

• 在播放低畫質視頻過程中對其進行逐幀超分
• 讓滿屏飄飛的彈幕自動繞過畫面的主體人物

HMS Core 6.0.0開放的多媒體管線服務（AV Pipeline Kit），幫助媒體應用開發者降低創新功能的開發難度。通過定義插件的標准接口和數據流在插件之間的流轉方式，開發者只需要按照標准接口完成插件開發，就可以迅速構建出新型的媒體場景。

多媒體管線服務（AV Pipeline Kit）定義了一套插件標准接口，且已經內置了對插件的數據流管理、線程管理、內存管理、消息管理等，開發者只需要實現插件的核心處理邏輯即可，無需關注線程同異步、流控、音視頻同步等邏輯。目前已預置了3個可應用在播放場景的Pipeline：視頻播放、視頻超分、聲音事件檢測，並提供Java接口供開發者使用，同時也支持開發者通過C++接口直接調用單個預置插件。若預置插件或預置Pipeline不滿足使用要求，開發者可以自定義插件、自定義Pipeline。

技術方案

視頻超分

下面我們詳細描述內置的高性能視頻超分插件，穿插在視頻流的解碼和顯示流程之間，將低分辨率視頻實時轉換成高分辨率視頻，改善視頻清晰度，增加視頻細節表現力，提升用戶觀看體驗。

開發准備

1. 新建Android Studio工程，修改工程級build.gradle文件如下
在“allprojects > repositories”里面增加Maven倉地址。

allprojects {
    repositories {
       google()
        jcenter()
        maven {url 'https://developer.huawei.com/repo/'}
    }
}

2. 修改項目級build.gradle文件如下
targetSdkVersion設為28；並在dependencies中添加編譯依賴。

dependencies {
    implementation 'com.huawei.hms:avpipelinesdk:6.0.0.302'
    implementation 'com.huawei.hms:avpipeline-aidl:6.0.0.302'
    implementation 'com.huawei.hms:avpipeline-fallback-base:6.0.0.302'
    implementation 'com.huawei.hms:avpipeline-fallback-cvfoundry:6.0.0.302'
}

3. 配置manifest
修改AndroidManifest.xml文件，添加讀取外部存儲的權限。

<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />

4. 同步工程

點擊工具欄中的gradle同步圖標，完成“build.gradle”文件的同步，將相關依賴下載到本地。

開發步驟

詳細示例代碼請參見GitHub

1. 動態申請存儲權限

String[] permissionLists = {
        Manifest.permission.READ_EXTERNAL_STORAGE 
};
int requestPermissionCode = 1;
for (String permission : permissionLists) {
    if (ContextCompat.checkSelfPermission(this, permission) != PackageManager.PERMISSION_GRANTED) {
        ActivityCompat.requestPermissions(this, permissionLists, requestPermissionCode);
    }
}

2. 初始化AV Pipeline框架

Context context = getApplicationContext();
boolean ret = AVPLoader.initFwk(context);
if(!ret) return;

3. 創建MediaPlayer實例

播放過程的控制由該實例來完成。

MediaPlayer mPlayer = MediaPlayer.create(MediaPlayer.PLAYER_TYPE_AV);
if (mPlayer == null) return;

4. 設置graph配置文件
AV Pipeline框架依賴於該配置文件來編排各個插件。此外還需要將MEDIA_ENABLE_CV的值設置為1，使能視頻超分插件。

MediaMeta meta = new MediaMeta();
meta.setString(MediaMeta.MEDIA_GRAPH_PATH, getExternalFilesDir(null).getPath() + "/PlayerGraphCV.xml");
meta.setInt32(MediaMeta.MEDIA_ENABLE_CV, 1);
mPlayer.setParameter(meta);

5. 設置以下參數后調用prepare接口，啟動MediaPlayer准備工作。
若需要監聽某些事件，通過setOnPreparedListener、setOnErrorListener等接口設置回調函數。（可選）

// 設置視頻渲染的surface
SurfaceView mSurfaceVideo = findViewById(R.id.surfaceViewup);
SurfaceHolder mVideoHolder = mSurfaceVideo.getHolder();
mVideoHolder.addCallback(new SurfaceHolder.Callback() {
    // 用戶自定義回調函數內容，可參考codelab_視頻播放
});
mPlayer.setVideoDisplay(mVideoHolder.getSurface());
// 設置待播放媒體文件的路徑
mPlayer.setDataSource(mFilePath);
// 若需要監聽某些事件，則還需要通過setXXXListener接口設置回調函數
// 例如需要監聽prepare完成的事件，需進行如下設置
mPlayer.setOnPreparedListener(new MediaPlayer.OnPreparedListener() {
    @Override    
    public void onPrepared(MediaPlayer mp, int param1, int param2, MediaParcel parcel) {
        // 用戶自定義回調函數內容
    }
});
mPlayer.prepare();

6. 調用start開始播放

mPlayer.start();

7. 調用stop停止播放

mPlayer.stop();

8. 銷毀播放器

mPlayer.reset();
mPlayer.release();

9. 其他注意事項
視頻超分插件的約束詳見文檔

訪問華為多媒體管線服務官網，了解更多相關內容
獲取華為多媒體管線服務開發指導文檔
華為多媒體管線服務開源倉庫地址：GitHub、Gitee
華為HMS Core官方論壇
解決集成問題請到Stack Overflow

點擊右上角頭像右方的關注，第一時間了解HMS Core最新技術~