機器學習之AI---超強視頻超分AI算法


最近發現一個特別強的視頻超分算法————BasicVSR,在真實世界數據集中,實現了前所未有的視覺重建效果,最近它還拿下了超分比賽NTIRE 2021三冠一亞的優異成績,登上了CVPR 2022。

視頻超分,假設低分辨率視頻是從高分辨率的視頻經過一系列的退化操作而得到,超分算法就是將該退化操作進行求逆,從而可以將低分辨率視頻恢復成高分辨率視頻。

右側為原片,左側為AI高清化

右側為原片,左側為AI高清化

對算法細節感興趣的同學可以先研究一下論文『Investigating Tradeoffs in Real-World Video Super-Resolution』

https://arxiv.org/pdf/2111.12704.pdf

我試玩了一下,感覺效果還是蠻不錯的,下面就分享一下BasicVSR在ubuntu下的安裝極簡教程。

實不相瞞,macOS和ubuntu下我都安裝成功了,Windows沒有成功(老報錯),感興趣且運氣爆表的同學可以再試試。

安裝

1 創建環境

conda create -n realbasic python=3.8 

2 安裝pytorch

https://pytorch.org/get-started/locally/

具體版本需根據自己的電腦配置,如有GPU,需與注意自己的cuda版本,可以使用nvidia-smi查看。

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch 

3 安裝mim 和 mmcv-full

MMCV 是一個面向計算機視覺的基礎庫,它支持了很多開源項目。建議安裝完整版:mmcv-full ,包含所有的特性以及豐富的開箱即用的 CUDA 算子。

但是直接pip安裝需注意cuda和torch版本,容易安裝失敗。建議使用MIM安裝,它會自動檢查 CUDA 和 PyTorch 環境並盡量幫我們安裝和環境匹配的預編譯版本的 MMCV-full,從而省去編譯的耗時。

pip install openmim mim install mmcv-full 

4 安裝MMEditing

MMEditing 是基於 PyTorch 的圖像&視頻編輯開源工具箱, 提供修復/摳圖/超分辨率/生成等任務最先進的算法。用pip我試了也失敗了幾次,最后只能本地安裝:

git clone https://github.com/open-mmlab/mmediting.git cd mmediting pip install -r requirements.txt # 如報錯,忽略即可,繼續執行下指令 pip install -v -e . 

使用

1 克隆項目

https://github.com/ckkelvinchan/RealBasicVSR

2 下載預訓練模型

下載地址:

https://entuedu-my.sharepoint.com/personal/chan0899_e_ntu_edu_sg/_layouts/15/download.aspx?SourceUrl=%2Fpersonal%2Fchan0899%5Fe%5Fntu%5Fedu%5Fsg%2FDocuments%2FRealBasicVSR%2FRealBasicVSR%5Fx4%2Epth

在RealBasicVSR項目下新建checkpoints文件夾

3 運行
將需要轉換的視頻放到data目錄下,運行即可

python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/demo_001.mp4 results/demo_001.mp4 --fps=12.5

4 結果
運行比較耗時,需耐心等待,如果你有鈔能力,當我沒說。

 


https://www.cnblogs.com/jpld/p/16002046.html 超強視頻超分AI算法,從此只看高清視頻

 

https://www.cnblogs.com/jpld/p/11355258.html 100天搞定機器學習|Day17-18 神奇的邏輯回歸

https://www.cnblogs.com/jpld/p/15815500.html 耗時一個月,我做了一個純粹的機器學習網站

https://blog.csdn.net/sshcx/article/details/1651616 FFT原理及實現(Radix-2)

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM