關鍵詞
無線感知、信號特征、識別算法、數據集
文章概要
綜述詳情
背景
感知手段的發展：主觀認識\(\rightarrow\)傳感器\(\rightarrow\)傳感網。缺點是部署和維護長期穩定運行的大規模傳感系統的難度和成本太高。可以利用環境中已有的無線信號（聲、光、射頻信號等）在完成本職任務（照明、通信等）的同時，“額外”用來感知環境。
無線感知技術的三個鮮明特點：無傳感器、無線、無接觸。
問題與挑戰
-
有效特征湮沒 ：信號特征與背景環境相關，導致感知結果依賴部署環境，泛化能力差、學習訓練成本高。
-
識別模型粗陋 ：缺乏在無線信號空間對人的行為活動的精細時空建模，導致感知精度低、魯棒性差。
“需要在無線信號空間層對人的行為活動的精細時空建模”：已有的工作通常簡單地使用計算機視覺領域的方法，直接在原始信號層次上進行識別，或者僅僅使用時間相關性或空間相關性，缺乏同時整合利用二者的有效手段，造成相似動作難以准確判別，在實際環境中感知精度低、魯棒性差。
-
數據集缺失 ：高質量公開數據集的缺失造成性能比較不客觀、實驗結果難復現、技術進步難積累。
特征
-
使用CSI取代RSSI：能獲得多徑信息以及相位信息，但相位信息通常受載波頻率誤差、采樣頻率偏差等因素的影響，通常包含較多噪聲。因此CSI 相位信息必須先處理再使用。
-
波達角 (Arrival of Angle, AoA) 與飛行時間(Time of Flight, ToF)：雷達信號與聲音信號定位、 追蹤目標時常用的兩種特征。
DoA：波達方向；AoA：波達角。
波達方向是指空間信號的到達方向（各個信號到達陣列參考陣元的方向角，簡稱波達方向），波達角與波達方向是一回事。
對於3D空間來說，DoA（或AoA）包括（θ，φ）。對於一個2D平面來說，DoA即為方位角θ。目前基於DoA的定位技術都是在2D平面的基礎上進行的，此時DoA即為方位角θ。
受多徑效應與信號帶寬的限制，在室內環境下准確估計經由目標反射而來的信號的 AoA 與 ToF 具有一定挑戰性。已有工作觀察到在發射機、接收機或目標只有微小位移時，經由目標一次反射而來的信號的 AoA 比其他多次反射信號的 AoA 更加穩定，而且多次反射信號可能只在某些接收機的 AoA 譜上出現。因此可通過多徑壓縮的算法，濾除多次反射信號，獲得定位目標的方位信息。此外，在多天線的基礎上，可利用子載波多樣性進行空間平滑，從而利用多個數據包提升 AoA 估計精度。為了克服直接測量 AoA與 ToF 的不精確性，最新的研究工作RIM通過對天線陣列收到的 CSI 信息進行處理，測量移動目標的相對位移（位移方向、大小、速度等），創新性地利用無線射頻信號實現了類似慣性傳感器的功能，使得遠距離目標追蹤精度達到了 8.4 厘米。
-
多普勒頻移：目標移動將導致經由目標反射的信號的路徑長度產生變化，使得觀測到的信號頻率發生一定的偏移。對 CSI 功率進行時頻分析（如短時傅里葉變換和小波變換），可從功率的動態變化中提取人體運動導致的 DFS。
一些工作進一步觀察到 ：只有目標的徑向速度分量對應着反射路徑長度的變化速率，提取到的 DFS 和運動速度方向、人員位置存在着一定的幾何約束關系。因此，通過添加更多鏈路可消除速度求解的歧義性，獲得完整的人員速度信息，並應用於定位、追蹤、活動識別等多種場景。
-
多維度信號特征的融合：通常可以取得比使用單一信號特征更好的感知效果，在只有一對收發設備的情況下，需要提取出盡可能多的參數，才能對目標進行細粒度的感知與定位。已有工作 [9] 將 CSI 建模成關於幅度衰減、DFS、ToF、AoA 的函數，使用基於期望最大化的算法對多徑信道的多參數進行聯合估計，並利用圖匹配技術得到經由目標反射路徑的長度與目標的方位信息的最優解，最終實現了單鏈路下的分米級被動式人員追蹤系統。通過配置更多的發射天線，可對反射路徑的 DFS、ToF、AoA 和出發角(Angle of Departure, AoD) 進行聯合估計，進一步提升單鏈路下的感知精度。
-
人體坐標系下速度譜(BVP)：與上述四點不同的是該特征屬於環境無依賴的特征，它不受人員位置、朝向與背景環境等因素的影響，只反映人員活動本身的信息。
以 BVP 為輸入的感知分類器無須重復訓練、收集額外數據等操作，即可實現跨位置、跨朝向、跨環境的活動識別。
識別算法
現階段使用深度學習的方式。但往往使用基於計算機視覺領域的知識，忽視了視覺感知與無線感知在信號層面上的區別（電磁波頻率、成像方式等），缺乏在無線信號空間對行為活動的精細時空建模，造成識別模型性能欠佳。
- Widar3.0利用卷積神經網絡與循環神經網絡分別挖掘輸入特征 BVP 在空間維度與時間維度的特性。
- STFNets沒有使用常規的卷積神經網絡和循環神經網絡，而是提出了一種新的基礎神經網絡構建模塊——短時傅里葉神經網絡，來直接學習多種傳感輸入在頻域中的特征，並發現將信號轉換到頻域會極大地簡化學習過程。
此外，為解決跨域的識別問題Widar3.0 通過挖掘環境無依賴的信號特征來提升泛化能力。與更專注在信號層面的 Widar3.0 不同，EI在模型設計上進行了探索——引入對抗學習的思想，通過設計更加復雜的網絡結構，定義新的損失函數，在充分利用無標簽數據的基礎上，直接利用新的模型，學習信號特征在不同環境中的共性表達。
數據集
現有數據集：
- 多倫多大學與斯坦福大學於 2017 年公開了一個包含 4GB原始 CSI 信息的數據集，記錄了 6 位用戶的 6 種活動（躺、摔倒、走路、跑步、坐下、起立）。
- 威廉瑪麗學院的研究團隊於 2018 年公開了兩種實驗場景（辦公室與住宅）下，6 位用戶用 276 種手語表達時對應的原始 CSI 數據 [15]。
- 清華大學的研究團隊於 2018 年公開了 1 位用戶在三個場景的 80 條運動軌跡數據，可用於被動式定位與追蹤的研究 [8, 9]。然而，已有的公開數據集大都存在數據量不足、應用場景少等問題。
- 作者團隊在這方面做了進一步探索，公開了Widar3.0 的手勢識別數據集。該數據集包含原始CSI 數據以及提取出的信號特征（DFS 和 BVP），包括 75 個不同場景下（包括不同位置、朝向與環境）采集的約 26 萬組動作實例，總時長超過 144 小時，數據規模約為 325GB。