虛擬直播將虛擬場景、虛擬形象實時顯示在觀眾面前,虛擬場景與人物替代了原有的耗費較大搭建成本的實景場景與真人出鏡,為觀眾帶來全新的視覺體驗,同時新技術降低了原有場景搭建成本,是近些年繼AI、VR、動作捕捉等技術出現后新興的一項集成技術,繼疫情出現后這項技術迎來了高速發展。
在虛擬直播的實現過程中,需要將真人動作與表情以虛擬形象實時顯示,這其中用到了動作捕捉技術,那么這項技術是如何應用到虛擬直播中的呢。
NOKOV度量動作捕捉實現了與VUP虛擬直播工具的高度集成,通過在主播身上貼反光標記點,利用光學動作捕捉系統獲取空間中的反光標記點坐標,獲取到的多個點信息用於確定剛體骨骼的位姿數據,從而對主播進行模型建立與識別,其位姿數據導入第三方軟件中,與模型綁定,就能實現影視、游戲、虛擬直播中的效果。
本文將分為三個步驟,從具體操作流程這一角度介紹動作捕捉應用於虛擬直播的實現過程。
Marker點布置
Marker點又稱為反光標記點,是一種布置在被捕捉物上的反光球體,能夠反射動作捕捉鏡頭發射的紅外光,進而獲取其三維坐標信息。
Marker點的布置過程中,需要注意以下幾點:①Marker點大小,一般場地的人體動作捕捉推薦12-15mm的Marker;②Marker點固定方式,;固定的時候要確保其牢牢附着在人體表面,穿動捕服時可合理使用魔術貼進行固定;③Marker點布置位置,進行虛擬直播系統建立時,一般會由專業人士提供標准的布置模板。
如果自己設計的話,有以下幾個注意事項:1)要確保貼的點在骨骼外側,易被識別;2)在骨性標志點、關節處貼點;3)要用多個點去確定一個剛體。
建立骨骼系統
在得到模特身上的點雲數據后,經過軟件處理就能建立模特的骨骼系統。這時,在軟件中可以實時得到模特身上的點,點組成的線,以及點確定的剛體,這樣一組反光標記點形成的特定信息模板,稱作Markerset。
光學動作捕捉系統直接獲取的信息只有各個Marker點的精確坐標,所以創建骨骼時要確保各段骨骼長度與對應點之間長度一致,位置也要很好地對應上,這樣點才能准確地驅動骨骼運動。將Markerset中的骨骼數據導入其它軟件中,就能驅動各類模型運動。
連接虛擬直播軟件
在VUP虛擬直播軟件中有不同的模型可供選擇。選中合適的模型后,虛擬人物就可以開始跟隨主播做動作。連接手機或者電腦攝像頭,VUP軟件能夠實時獲得主播的面部表情;戴上數據手套,VUP可捕捉手指的精細動作,從而實現與觀眾的互動。
另外,NOKOV度量光學動作捕捉系統支持多人動作捕捉,所以也可以實現多個虛擬人物形象同台展示。
VUP虛擬直播是NOKOV度量動作捕捉業務領域的進一步拓展,NOKOV度量科技自主研發的光學動作捕捉系統,性價比高,數據采集精准穩定,為虛擬直播提供了強有力的技術支持。