Abstract
用Part Affinity Fields來學習如何將身體關鍵和個人匹配起來。主要思想是利用貪心算法自下而上的解析步驟從而達到高准確率和實時性。身體部位定位和關聯是在兩個分支上同時進行的。該方法獲得了COCO2016 keypoints challenge中奪得第一名。
Introduction
2D行人姿態的關注點在於,找出圖中視野內屬於每個人的各個部位。這個任務主要有三個難點:
1.每個圖中包含的人數量是不確定的,並且他們所處location及scale也是不確定的。
2.人們之間的互動產生的遮擋、四肢變化、肢體重疊等有着復雜的空間關系
3.實時性,很多算法隨着圖中人數量的增多而增加
自上而下的算法:利用person detector,然后對檢測出來的目標單獨進行姿態估計。這種方法受限於person detector,並且沒有補救的方法。
自下而上的算法就顯得更為合理,先檢測出關鍵點的位置,再利用圖譜進行連接。但是這樣的連接是NP-Hard problem而且平均處理時間要數個小時。
Code分析:
testing/src/connect56LIneVec.m 意從 PAFs + heatmaps 得到連接順序
首先是通過 func: findPeaks() 得到每張heatmaps中的亮點坐標以及對應像素點大小 score 。
然后就是計算 limbSeq 中任意一組兩點的PAF值 paf_score ,然后根據paf_score進行排序,從高到低連接兩點(每次連接的兩點在之后的連接中都排除不用)
建立subset ,記錄下從limbSeq(1) 開始兩兩連接點的拓展