Kinect驅動的人臉實時動畫


近期幾年。realtime的人臉動畫開始風聲水起。不少圖形圖像的研究者開始在這個領域不斷的在頂級會議siggraph和期刊tog上面發文章。

隨着kinect等便宜的三維數據採集設備的運用。以及其功能強大的人臉識別和動作識別的功能,極大的推動了人臉數據驅動電腦中3D模型

的表情表演和動作表演的可能。

以下是幾個大牛的主頁,當中有不少關於這方面的研究:

主要發起者:

li hao 在epfl的lgg實驗室的研究工作:

http://lgg.epfl.ch/publications.php

眼下其人在usc:

http://www.hao-li.com/Hao_Li/Hao_Li_-_about_me.html

然后他們還做出了比較成熟的軟件:

http://www.faceshift.com/

國內的話,大牛 zhou kun也不做了不少相關的工作:

http://www.kunzhou.net/


此外 瑞士的迪斯尼研究中心以及傳統的矩陣攝相三維人臉重建和動作捕捉的強者usc的一個實驗室也有不少相關工作:

http://gl.ict.usc.edu/Research/HFFH/

http://www.disneyresearch.com/publications/


本人依據之前的幾個blog的工作,然后整合試試變形的算法。也對實時人臉動畫進行了嘗試,詳細過程例如以下:


1.通過kinect保存人臉的三維數據為obj文件

2.啟動網格顯示模型,讀取保存的kinect網格模型


3.顯示每一個頂點相應的標號


4.打開要驅動的obj模型

5.左鍵選擇與上面頂點相應的坐標而且記錄下來。(選中了的點會在模型中有紅點標出,而且在命令行窗體輸出相應的ID和坐標)

6.建立相應關系。即實時獲得的kinect數據與須要驅動的頂點的相應關系

7.連接kinect,而且運用laplace或者poission變形方式。實時驅動模型變形,中間過程截圖例如以下:



至此。kinect驅動三維模型實時變形的demo基本結束,這里還是很初步的結果。興許能夠通過參數化映射等實現自己主動的變形點匹配和變形驅動。當然也能夠運用LOD等方式驅動更加豐富的人臉的動畫,詳細能夠參考14年siggraph的paper,    http://www.iro.umontreal.ca/~derek/.

另外。也能夠依照上面提到的幾個大牛的方法,直接運用machine learning 的方式,學習幾個主要的表情。然后驅動動畫。這將是一件很有趣的事情。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM