內容來自https://www.zhihu.com/topic/20761446/intro，僅供學習討論
是什么？
面部動作捕捉（Facial Motion Capture），有時也被稱為「面部表情捕捉」（Facial Expression Capture）。它是動作捕捉（Motion Capture）技術的一部分，指使用機械裝置、相機等設備記錄人類面部表情和動作，將之轉換為一系列參數數據的過程。
與捕捉由關節點構成、較為穩定的人體動作相比，面部表情更為細微復雜，因此對數據精度要求更高。
CG 電影、大型游戲在預算允許的情況下，傾向於選擇捕捉真人面部來完成角色的演出。與人為制作的動畫角色表情相比，通過捕捉真人面部動作生成的角色會更具真實感。
1990 年，Lance Williams 在論文《Performance-Driven Facial Animation》中討論了「一種捕捉真實面部表情用於計算機生成人臉的方法」，這被認為是第一篇討論面部動作捕捉的論文。[1]
如何實現？
1、基於機械傳動
最早的面部動作捕捉主要依靠機械裝置跟蹤測量面部運動狀況。
與人體動作捕捉設備類似，這些面部動作捕捉設備通常由多個關節和剛性連桿組成，關節中裝有角度傳感器，固定在人的嘴部、眼部等位置。運動產生時，角度傳感器可以測的角度的變化，依據連桿的長度計算出固定點在空間中的位置和運動軌跡。
機械式設備的優點是成本低、精度高，可以實時測量。缺點是使用起來不方便，對表演者的表情限制較大。
隨着技術的發展，機械式面部動作捕捉設備已退出歷史舞台。
代表設備：
1988 年，deGraf/Wahrman 公司開發的「Mike the Talking Head」動作捕捉系統包含了捕捉面部動作的功能，該系統還曾於當年的 SIGGRAPH 上現場展示。[2]
1992 年，SimGraphics 為面部專門開發了面部動作捕捉系統「Face Waldo」，通過固定在雙頰、嘴唇、下巴、眉毛等位置的傳感器追蹤臉部動作。「Face Waldo」輔助完成了任天堂產品發布會上的實時 Mario 形象演出，佩戴該設備的演出者隱藏於幕后，通過屏幕上的 Mario 形象與觀眾交流。
2、基於光學
目前幾乎所有的面部動作捕捉設備都基於光學，從數據來源（即光學信息獲取設備）上可以分為：
（1）基於二維數據
捕捉面部二維數據及其變化的基礎設備是光學鏡頭。通過算法標記、處理捕捉到的數據，理解人的面部表情及動作，完成虛擬形象的合成。
除數碼相機之外，設備也可以是電腦攝像頭、手機前置攝像頭等移動設備上的攝像頭，優點是成本低、易獲取、使用方便，缺點是捕捉精度與其他方法相比較低。
FaceRig 是一款使用攝像頭就能完成虛擬角色構建的軟件
（2）基於三維數據
三維數據即在通過光學鏡頭獲取二維數據的同時，通過一定的手段或設備，獲取畫面的深度。
a、相機陣列方法
陣列即以一定間距和規則擺放相機，為面部動作捕捉設計的相機陣列通常呈環形。演員需要居於中心點進行拍攝，目的是通過不同視角所獲的不同人像，來獲取人面部表情及運動的三維數據。
相機陣列的優點是精度高、效果好，缺點是拍攝難度大、設備成本高，演員不能移動，無法在演出的同時使用。
《黑客帝國》中，Hugo 被擊打的鏡頭是由電腦合成的，為了捕捉他的面部表演，五個同步高清攝像機被擺放為環形陣列捕捉他的面部表情，再對皮膚表面、動作變形和環境進行修改和渲染。
b、結構光方法
結構光是最為常見的獲取畫面深度的方式。在光學鏡頭之外會配合紅外鏡頭，有時也需要泛光照明燈、泛光感應元件、點陣投影器等輔助設備，來獲取人臉的深度信息。
點陣投影器可以向人臉投射肉眼不可見的光點組成的點陣，臉部的凹凸不平會使點陣形狀發生變化，紅外鏡頭可以讀取點陣圖案，再與前置攝像頭拍攝到的人臉通過算法相結合，以獲得帶有深度信息的面部信息。
iPhoneX 的人臉識別使用的是點陣投影器
除了點陣投影，較為常用的方法是在面部繪制或粘貼標記點，幫助進行定位並根據這些點的變化反推動作。
在人臉拍攝條件上，可分為有標記點和面部無標記點兩種方式：
（1）有標記點
基於標記點的面部動作捕捉系統較為常見，標記點數量不定，由配套使用的設備及系統決定。面部標記數量最多可能達到 350 個，需要與高分辨率相機等設備配合使用。
設備通常為頭戴式。這些設備可與姿態捕捉系統配合使用，演員的表演過程連貫不受影響。依拍攝場景、實現方式不同，有時也會改由他人輔助手持拍攝。
標記點可以是繪制的，也可以是粘貼的
電影《極地特快》（The Polar Express）及《貝奧武夫》（Beowulf）的拍攝合成，使用的就是這種方法。
（2）無標記點
無標記點方法通常依靠鼻孔、眼角、唇部、酒窩等標志性位置，確定臉部的表情和運動狀況，這種方法最早由 CMU、IBM、曼徹斯特大學等機構通過使用主觀表現模型（AAM）、主成分分析（PCA）等模型及技術實現。
無標記點面部動作捕捉系統也能追蹤人的瞳孔、眼皮、牙齒咬合等細節，幫助完成動畫合成。有時需要對拍攝到的圖像進行人工處理，如對極限表情進行面部勾線等等。
Image Metrics 推出的無標記點面部動作捕捉系統曾在《黑客帝國》（The Matrix）、《本傑明·巴頓奇事》（The Curious Case of Benjamin Button）中使用。
此后出現的無標記點面部捕捉系統如 MOVA 、Dynamixyz，都是目前在用的無標記點商用面部動作捕捉系統。
需要注意的是，使用何種設備通常由使用場景決定，有無標記點與使用何種設備之間沒有必然聯系。
如 Faceware 的面部動作捕捉系統使用的是頭盔式單個相機，沒有紅外功能，且不需要標記點[3]；推出的 Cara 解決方案使用了多個相機，需要面部有標記點[4]；Face/Off 需要向人臉投影[5]；MOVA 系統雖然沒有使用標記點，但需要在臉部塗抹特殊的熒光塗料。
MOVA 使用的是一種特殊熒光染料，《古墓麗影：崛起》的拍攝時用的是該方法。
能做什么？
使用面部動作捕捉技術的主要目的是虛擬形象合成。雖然能通過這些設備進行交互，但尚未出現較為主流的應用方式。
依據不同場景，面部動作捕捉設備可以：
1、非實時應用場景
- 電影、電視劇、游戲中的虛擬形象，在捕捉演員的面部動作后通常需要較長時間的調整、渲染和合成，以獲得更好的表現效果。
《阿麗塔：戰斗天使》是目前面部動作捕捉技術最前沿的案例
這種方法還可以突破演員的年齡限制，在電影《花與愛麗絲殺人事件》籌備拍攝時，此前拍攝《花與愛麗絲》的演員年齡過大，最終使用動作捕捉設備和電腦合成完成了拍攝。
《花與愛麗絲殺人事件》劇照
- 電視節目有時會使用相關技術在熒幕上演出虛擬形象。
《今晚 80 后》使用相關技術演出「趣多多」形象
- 近期產生的虛擬偶像也是面部動作捕捉技術的應用之一。
絆愛（A.I.）是全世界最知名的虛擬偶像，其豐富表情是由背后的聲優出演的
- 此外，蘋果推出的 animoji 也應用了面部動作捕捉。iPhone X 的前置攝像頭旁安裝了紅外相機扽個設備，用結構光方法捕捉人的面部表情。
2、實時應用場景
實時應用通常帶有展示性質，如 Vicon 與 Epic Games 合作展示的「Siren」形象，身穿動作捕捉套裝和面部動作捕捉設備的演員可以即興表演，三維「Siren」可以實時復制演員的動作。[6]
虛擬偶像會使用相關設備在線上或線下與用戶實時互動。
參考
- ^Performance-Driven Facial Animation, Lance Williams, Computer Graphics, Volume 24, Number 4, August 1990
- ^A Brief History of Motion Capture for Computer Character Animation，David J. Sturman，SIGGRAPH 94. https://www.siggraph.org/education/materials/HyperGraph/animation/character_animation/motion_capture/history1.htm
- ^http://www.facewaretech.com/cameras/markIII
- ^https://www.vicon.com/products/camera-systems/cara-1
- ^Weise, Thibaut; H. Li; L. Van Gool; M. Pauly (2009), "Face/off: Live Facial Puppetry", ACM Symposium on Computer Animation
- ^http://tech.163.com/18/0602/01/DJ8P6F9O00097U7T.html