參考曠視研究院推文【傳送門】
Introduction
（1）Motivation：
遮擋行人重識別（Occluded Person ReID）更具有挑戰性：
① 受到遮擋的影響，圖像的判別信息更少，更容易匹配到錯誤的行人；
② 基於身體部位之間的特征信息做匹配雖然有效，但在被遮擋的情況下難以進行嚴格的部位對齊。
當前提出的針對遮擋或具體部位的ReID方法，基本只是考慮了特征學習和對齊的一階信息，比如預先定義的區域、姿態、行人解析。
（2）Contribution：
圖1(b)Vanilla方法：提取關鍵點區域的局部特征，並假設所有關鍵點准確且局部特征對齊良好。在這里，所有三個階段（特征提取、對齊、匹配）都依賴於關鍵點的一階信息，魯棒性不強。
圖1(c)作者方法：在特征學習階段，通過將一張圖像的一組局部特征視為圖（graph）的節點（node）來學習關系信息。通過在圖中傳遞信息，因關鍵點被遮擋而導致的無意義特征問題，可以通過其相鄰的有意義的特征進行改善。在對齊階段，使用圖匹配算法（graph matching）來學習魯棒的對齊能力。這種方法除了能用點到點的對應關系進行對齊外，它還能對邊到邊的對應關系進行建模
作者提出了一個聯合建模高階關系和人體拓撲信息的新框架，如下圖所示：
① 一階語義模塊（S）：首先利用CNN backbone學習特征圖，用人體關鍵點估計模型來學習關鍵點，然后，提取對應關鍵點的語義信息；
② 高階關系模塊（R）：人們將習得的圖像語義特征看作圖的節點，然后提出了一個方向自適應的圖卷積層（ADGC/Adaptive-Direction Graph Convolutional）層來學習和傳遞邊緣特征信息。ADGC層可以自動決定每個邊的方向和度。從而促進語義特征的信息傳遞，抑制無意義和噪聲特征的傳遞。最后，學習到的節點包含語義和關系信息。
③ 高階人類拓撲模塊（T）：提出一個跨圖嵌入對齊（CGEA/cross-graph embedded-alignment）層。它以兩個圖（graph）作為輸入，利用圖匹配策略學習其之間節點的對應關系，然后將學習到的對應關系視為鄰接矩陣來傳遞信息。正因如此，相關聯的特征才能被增強，對齊信息才能被嵌入到特征中去。最后，為了避免強行一對一對齊的情況，研究員會通過將兩個圖映射到到一個logit模型並用一個驗證損失進行監督來預測其相似性。
The Proposed Method
（1）語義特征提取：
假設行人圖片為 x，獲取特征map為
，關鍵點map為
，兩者通過外積計算，並進行全局平均池化，獲得局部語義特征和全局特征：
訓練損失的計算：
表示第 k 個關鍵點的置信度，且
。用
表示
屬於正確id的概率，
表示正樣本對之間的距離，損失函數為：
（2）高階關系學習：
采用了圖卷積（graph convolutional network，GCN）【傳送門】來建模高階關系信息。在GCN中，不同關鍵點區域的語義特征被視為節點。通過在節點之間傳遞信息，一階語義信息（節點特征）和高階特征（邊特征）都可以被照顧到。雖然如此，被遮擋的ReID還是存在一個問題，即被遮擋區域的特征經常是無意義甚至噪聲干擾。當在這些特征再圖中進行傳遞時，甚至可能帶來更多噪聲，對被遮擋ReID產生副作用。 因此，研究員新提出了一個方向自適應的圖卷積層（Adaptive Directed Graph Convolutional Layer，ADGC），用它來動態學習信息傳遞的方向和degree。借助它，研究員可以自動抑制無意義特征信息，促進有效語義特征信息的傳遞。
① ADGC：
作者用局部特征和全局特征的差異度來評估權重，差異小的局部特征更有意義（也就是說偏離全局特征的關節點可能是被遮擋的或者是噪聲），由此得到一個邊的權重矩陣，用於控制信息的傳遞，圖卷積計算為：
最后用多個ADGC級聯成高階關系模塊
，即：
② 損失函數：
采用分類損失和三元組損失，類似上文：
③ 相似度度量：
給出兩張行人圖片(x1,x2)，關系信息特征分別為：
、
，相似度為：
（3）高階人類拓撲學習：
一種簡單的對齊策略是直接去匹配同樣關鍵點之間的特征。然而這種一階對齊策略並不能應對異常值，特別是當畫面人物有大面積遮擋的情況。 相反，圖匹配策略（graph matching）可以自然地將人體拓撲的高階信息也考慮進去。但它只能學習一對一的對應關系，導致這種硬對齊策略對於異常值仍然十分敏感，性能容易受到干擾。為此，研究員提出了一個跨圖的嵌入對齊層，它不僅能夠充分利用經圖匹配算法習得的人體拓撲信息，還能避免來自一對一對齊的干擾。
① 圖匹配【18年的深度學習圖匹配論文：傳送門】（沒有深究，待學習）：
假設兩張圖片
、
對應得到的兩張圖為
、
，圖匹配的目標是學習一個匹配矩陣
，元素
表示兩個圖的對應節點
和
的匹配程度，還考慮到了邊的二階相似度
，元素
表示兩個圖的對應邊
和
，最終的優化目標為：
② 跨圖的嵌入對齊層（CGEA）：
兩張圖的節點特征為：
和
，通過全連接層和ReLU層，得到兩個隱藏層特征
和
，通過圖匹配模塊得到關聯矩陣
。對其層的計算如下：
最后由多個CGEA級聯得到此模塊，即：
③ 相似度度量：
④ 損失函數 ：
（4）訓練：
總損失函數：
相似度評估：
Experiments
