Skeleton-Based Action Recognition with Directed Graph Neural Network

本文轉載自查看原文 2019-08-23 11:00 1747 動作識別

Skeleton-Based Action Recognition with Directed Graph Neural Network

摘要

因為骨架信息可以魯棒地適應動態環境和復雜的背景，所以經常被廣泛應用在動作識別任務上，現有的方法已經證實骨架中的關鍵點和骨頭信息對動作識別任務非常有用。然而如何將兩種類型的數據最大化地利用還沒有被很好地解決。

作者將骨架數據表示成一個有向非循環圖（Directed acyclic graph），該圖基於自然人體的節點和骨骼的動力學依賴。

這個新穎的圖結構用來提取節點、骨骼和他們之間的關聯信息，然后基於提取到的特征進行預測。

另外，為了更好地適應動作識別任務，圖的拓撲結構可以根據訓練過程進行自適應地改變，這極大地提高了性能。

此外，利用骨架序列的運動信息與空間信息相結合，進一步提高了雙流框架的性能。

算法在NTU-RGBD和Skeleton-Kinetics數據集上的性能遠超流行算法。

一、引言

動作識別任務在很多方面都有應用，其中，人體骨架信息有很多優勢，比如對尺度變化、背景干擾等具有很強的魯棒性，而且骨架信息很容易通過硬件設備（kinetics）或者軟件（openpose）獲得。傳統的基於骨架的動作識別通常手動設計特征來表示骨架，現有的基於深度學習的方法分為三種：RNN、CNN、GCN，其中連接點信息分別被表示成向量序列、偽圖像、圖。骨頭信息，表征着人體骨頭的方向和長度，它和關節點坐標信息是互補的，骨頭和關節點是緊密相連的。（從人體骨骼自然結構說明了構造有向圖的必要性）現有的基於圖的方法通常把骨骼信息表示成一個無向圖，並且用兩個網絡對骨頭和關節點進行建模，這樣不能將骨頭和關節點之間的依賴關系完全探索出來。因此，作者以關節點為節點、骨頭為邊設計出了一個有向無環圖，還設計了一個有向圖卷積網絡來對構造的圖進行建模，這樣提取到的特征不僅包含每個關節點和骨頭信息，而且還有他們之間的依賴關系，促進了動作識別。另外一個問題是原始的骨架結構是手動設計的，不能根據動作識別任務進行優化，作者提出了一個自適應的圖結構代替原始的固定的圖結構，並且使用一個簡單有效的方法一方面保證了訓練過程的穩定性，另一方面有不失靈活，在性能上帶來了顯著提升。雙流網絡給基於RGB的動作識別帶來了性能上的提升，作者也采用雙流結構將空間流和時間流的結果融合來增強算法性能。

總結

據作者所知，他們是第一個用有向無環圖來表示關節點和骨頭信息以及他們之間的依賴關系
自適應的網絡結構在訓練過程中與模型參數共同訓練和更新
雙流結構
在NTU RGB+D和Kinects數據集上效果很好

二、相關工作

1. 基於骨架的動作識別

現有的方法主要分為三類：基於序列的方法、基於圖像的方法、基於圖的方法。基於序列的方法將骨架信息表示成有着設計好的遍歷規則的骨架序列，然后用RNN進行動作識別；基於圖像的方法通常把骨架信息表示成偽圖像；基於圖的方法用圖來表示骨架信息，天然地保留了人體骨架信息。

2. 圖網絡

圖結構是比圖像和序列更一般化的數據結構，它不能直接用深度學習模塊，比如CNN、RNN直接進行建模。用圖網絡結構來解決問題已經被探索了很多年了。

三、方法

給出一個骨架序列，首先根據節點的2D或3D坐標信息將骨頭信息提取出來，然后根據每一幀的節點和骨頭信息構建一個有向無環圖，然后把它送到有向圖卷積中提取特征用來進行動作識別。最后，用和提取空間信息相同的圖網絡結構提取動作信息，動作信息和空間信息的融合來進一步提高性能。

和2s-AGCN相似，在其基礎上改變了網絡結構，使用有向無環圖構建人體骨架結構，並且改變了自適應網絡的方法。

1. 有向圖網絡結構塊

根據有向圖結構更新節點和邊的信息，更新方式如下：

\[\overline{\mathbf{e}}_{i}^{-}=g^{\mathbf{e}^{-}}\left(\mathcal{E}_{i}^{-}\right) \qquad（1）\\ \overline{\mathbf{e}}_{i}^{+}=g^{\mathbf{e}^{+}}\left(\mathcal{E}_{i}^{+}\right) \qquad（2）\\ \mathbf{v}_{i}^{\prime}=h^{\mathbf{v}}\left(\left[\mathbf{v}_{i}, \overline{\mathbf{e}}_{j}^{-}, \overline{\mathbf{e}}_{j}^{+}\right]\right) \qquad（3）\\ \mathbf{e}_{j}^{\prime}=h^{\mathbf{e}}\left(\left[\mathbf{e}_{j}, {\mathbf{v}}_{j}^{s'}, {\mathbf{v}}_{j}^{t'}\right]\right) \qquad（4） \]

$e^-$表示輸入邊，$e^+$表示輸出邊，對於下圖(a)中的節點$v_2$，輸入邊為$e_1$，輸出邊為$e_2$和$e_3$，$v^s$表示源點，$v^t$表示目標點，對於下圖(a)中的邊$e_1$，源點為$v_1$，目標點為$v_2$，函數$g$表示聚合函數，函數$h$表示更新函數。

對網絡中一個DGN塊，首先對有向圖中的邊和節點進行更新，針對$v_2$節點，先對輸入邊和輸出邊用聚合函數進行聚合（上式中的（1）和（2）），再對$v_2$節點進行更新，最后用更新后的$v^{'}_1$和$v^{'}_2$對邊$e_1$進行更新。

2.實現

輸入：$f_v$是節點的特征圖，大小為$C \times T \times N_v$，並將其resize為$CT \times N_v$；

$A$是節點與邊的對應關系矩陣，大小為$N_v \times N_e$，$A_{ij}$表示第i個節點是第j條邊源點或目標點，當$A_{ij}$為-1時，表示是源點，為1時，表示是目標點，為0時，表示節點和邊沒有關系。如下圖，表示第0個節點是第0條邊的源點，第0個節點是第1條邊的目標點。為了實施過程簡單一些，將$A$分為$A^s$和$A^t$，將源點和目標點分別提取出來形成單獨的向量，並將值全設為1；

\[A=\left[\begin{array}{rrrr}{-1} & {1} & {0} & {0} \\ {0} & {-1} & {1} & {0} \\ {0} & {-1} & {0} & {1}\end{array}\right]^{\top}\\ A^s=\left[\begin{array}{rrrr}{1} & {0} & {0} & {0} \\ {0} & {1} & {0} & {0} \\ {0} & {1} & {0} & {0}\end{array}\right]^{\top} \qquad A^t=\left[\begin{array}{rrrr}{0} & {1} & {0} & {0} \\ {0} & {0} & {1} & {0} \\ {0} & {0} & {0} & {1}\end{array}\right]^{\top} \]

將$f_v$和$A^s$相乘便得到大小為$CT \times N_e$的矩陣，表示某個點對應的輸入邊的聚合，從而實現了聚合函數的功能，因為需要對聚合后的結果進行歸一化，等價於直接對$A$進行歸一化，$\tilde{A}=A \Lambda^{-1}$，$ \Lambda_{ii} = \sum_jA_{ij}+\epsilon$，$\epsilon$是為了避免除零，所以上述更新節點和邊可以寫成：

\[f^{'}_v = H_v([f_v,f_e\tilde{A^s}^T,f_e\tilde{A^t}^T])\\ f^{'}_e = H_e([f_e,f_v\tilde{A^s}^T,f_v\tilde{A^t}^T]) \]

$H$表示一個全連接層來表示更新函數。