摘要:近日,在華為雲TechWave全球技術峰會(人工智能&數據)上,馬欄山視頻文創產業園首席專家周蘇岳受邀發表演講《經典永流傳,媒體 AI 讓老電影煥發新生》,分享與華為雲原生媒體服務合作的媒體AI在老電影修復方面的應用。
本文分享自華為雲社區《華為雲媒體 AI,實現黑白老電影的彩色夢》,原文作者:音視頻大管家 。
近日,華為雲TechWave全球技術峰會(人工智能&數據)在上海成功舉辦。AI技術分論壇以“AI技術創新,加速行業智能升級”為主題,邀請到行業嘉賓分享了AI在互聯網媒體、醫療、環境等行業的落地實踐。馬欄山視頻文創產業園首席專家周蘇岳受邀發表演講《經典永流傳,媒體 AI 讓老電影煥發新生》,分享與華為雲原生媒體服務合作的媒體AI在老電影修復方面的應用。
華為雲圍繞馬欄山園區企業視頻從制作到發布全流程業務場景,搭建了馬欄山視頻產業雲,滿足視頻生產、制作、分發等各個環節的雲服務需求。在修復經典影視領域,通過引入AI修復增強和上色技術,解決膠片及磁帶保存劣化及當時拍攝技術限制造成的問題,與純人工相比,處理速度可提高100+倍;而引入混合雲平台,使得計算和存儲資源池能夠無限動態擴容,極大提升效率,降低成本。
周蘇岳指出,利用媒體AI做老電影的修復,特別是黑白視頻上色方面,難度比我們想象的要大很多,以他曾負責的黑白電影《雷鋒》上色為例,主要有兩大難點:第一、搜索空間大,計算復雜性高;第二、顏色語義信息復雜,模型建立困難。在AI分論壇上,周蘇岳表示,要解決這兩大難題,主要是運用多GPU並行計算,建立AI自動上色 + 人工矯正 + AI迭代優化上色的自學習迭代上色工藝;另外,形成整體到局部的迭代優化流程,空間尺度上,通過篩選框定點優化局部顏色,時間尺度上,通過顏色傳播算法優化連續幀之間的顏色效果。
馬欄山視頻文創產業園首席專家周蘇岳
電影《雷鋒》的修復,解決了AI神經網絡自動學習與上色的3大難題:不同幀之間的顏色時序一致性;單幀圖片內的顏色空間協調性;物品對象的顏色語義一致性。周蘇岳也坦誠道,AI視頻上色還面臨很多挑戰,比如在運動及光影變化明顯時,存在由於焦點不實導致的輪廓識別精度不高而顏色溢出,少部分物品如衣領、紅領巾等顏色匹配錯誤,多人物場景下極少數物品顏色漏上等問題。
周蘇岳還分享了華為雲原生媒體服務如何高效地幫助馬欄山5G高新視頻公共服務雲平台在影視劇生產、廣電制播及融媒體運營等多場景應用。未來,馬欄山視頻文創產業園與華為雲將進一步加強合作,在篩選框定點優化局部顏色、關鍵幀顏色傳播算法、以及模型層面增加物體追蹤及上色約束方面進行針對性攻關,以解決當前AI系統存在的兩個主要問題:當前模型在低分辨率圖片(480P)上訓練不適應高清和4K視頻上色;光影變化導致全局灰度變化,顏色相似性變得模糊。預計明年將會有更優秀的AI工藝生產的經典影視作品跟大家見面。
華為深耕音視頻領域30多年,擁有1000多項音視頻算法專利,在5G、IT基礎設施、智能終端、芯片等方面全棧領先。華為雲原生媒體服務,在老舊視頻修復和標清/高清視頻的超高清轉置方面,有着豐富的經驗,目前已與國內多家媒體平台以及產業園區達成合作,得到業界的廣泛認可。未來雲上內容制作正在成為趨勢,華為雲原生媒體服務將持續深耕影視制作領域,為推進中國影視工業數字化升級、促進整個電影產業發展打造堅實的雲服務平台。
在近日舉辦的華為雲TechWave雲原生媒體服務專題日上,華為雲原生視頻服務正式升級為華為雲原生媒體服務,專題日深度解讀三大產品領域-“媒體生產”,“媒體分發”,以及“媒體應用”。看華為三十年媒體技術積累如何為傳統業務賦予新的競爭力,拓展新賽道,激活行業生產力。點擊鏈接了解更多雲原生媒體服務干貨看點。https://www.huaweicloud.com/about/techwave_video.html