步驟1獲取深度圖
Kinect-V1(一款熱門的RGBD相機):一種獲得物體深度和位置的方法:激光(光柵)+相機(結構光)
- 本質:光柵通過激光對整個測量空間進行編碼(不同位置對應不同的激光圖案,因為不同位置上激光通過光柵投射在目標物體上成像,在其上產生的圖樣會產生偏移),然后用紅外相機拍攝下空間圖片,對圖案進行解碼得到深度信息
存在的問題:深度傳感器通常僅限於室內環境,並且具有自己的3D重建問題。
Kinect-V2體感游戲獲取深度圖原理:
- 直接發射特殊紅外線,然后再接收反射信號通過相位差,直接得到深度信息
步驟2分割深度圖中的人體前景
追蹤場景中的人,利用圖像分割的思想用分割遮罩,只給下一步處理傳送人體圖像的前景深度圖
步驟3訓練分類器識別身體部位
最后機器學習分析每個部位(一段,比如頭部,大臂,小臂,大腿,小腿)是什么,
步驟4根據關節點生成骨架
根據步驟3得到20個關節點生成骨架系統
模型的關節點輸出包括三類
- 1模型直接確定的推斷結果
- 2模型根據1推理得到的合理結果
- 3未識別到的部分