A Review of Visual-Inertial Simultaneous Localization and Mapping from Filtering-Based and Optimization-Based Perspectives
摘要：視覺慣性同時定位與建圖（VI-SLAM）是機器人學中的熱門研究課題。 由於其在魯棒性方面的優勢，VI-SLAM在定位和建圖領域具有廣泛的應用，包括移動機器人，自動駕駛汽車，無人駕駛飛行器和自主水下航行器。本研究提供了有關VI-SLAM的全面調查。 在簡短介紹之后，本研究首次從基於過濾和基於優化的角度審視VI-SLAM技術。它總結了過去10年基於后端方法，相機類型和傳感器融合類型的最新研究。 還引入了關鍵VI-SLAM技術，例如特征提取和跟蹤，核心理論和循環閉包。還調查了代表性的VI-SLAM方法和着名的VI-SLAM數據集的性能。 最后，本研究通過實驗有助於比較基於過濾和基於優化的方法。VI-SLAM方法的比較研究有助於理解其操作原理的差異。 基於優化的方法實現了出色的定位精度和較低的內存利用率，而基於過濾的方法在計算資源方面具有優勢。此外，本研究還提出了VI-SLAM的未來發展趨勢和研究方向。 它提供了對VI-SLAM技術的詳細調查，可以作為SLAM領域新手的簡要指南，也是經驗豐富的研究人員尋找未來工作的可能方向。
1. Introduction
同時定位和地圖創建（SLAM）技術最早由Smith [1,2]，這是在機器人與傳感器定位本身施加建設未知環境基於傳感器數據周圍的實時地圖的目標提出。多年來，使用不同的傳感器出現了新的方法，如聲納[3]，激光雷達[4]和相機[5]。這些方法創建了新的數據表示，從而創建了新的地圖。 Durrant-Whyte和Bailey [6,7]系統地回顧了SLAM技術。由於CPU和GPU技術的最新進展，視覺SLAM方法的興趣日益增加，因為與其他傳感器相比，低成本相機提供了豐富的視覺信息。有具有改進的SLAM技術的發展許多極好的視覺SLAM方法，如MonoSLAM [5]，PTAM [8]，RatSLAM [9]，DTAM [10]，KinectFusion [11]，並且ORB的SLAM [12] 。 SLAM技術在過去30年中經歷了三次重大迭代[13]。如今，SLAM技術蓬勃發展並且健壯;機器人技術迫切需要實時，高精度的SLAM技術。
由於若干原因，將攝像機和IMU數據融合以用於定位和環境感知的視覺慣性同時定位和映射（VI-SLAM）已變得越來越流行。 首先，該技術用於機器人技術，特別是涉及微型飛行器（MAV）自主導航的廣泛研究和應用。 其次，增強現實（AR）和虛擬現實（VR）正在迅速增長。 第三，無人技術和人工智能已經大大擴展。
在過去的幾十年里，對SLAM進行了大量研究，包括概述和教程。 經典概述是[6,7]; 然而，它們並沒有反映出最新的SLAM技術。 大多數概述[19-23]也只關注視覺SLAM或視覺里程計，而不涉及VI-SLAM技術。 因此，本研究從基於過濾和基於優化的角度提供了VI-SLAM技術的概述。 提出了特征提取和跟蹤，核心理論和循環閉包，這些是VI-SLAM方法的關鍵技術。 這項工作還總結了過去10年的研究和著名的VI-SLAM數據集，並通過實驗比較了基於過濾和基於優化的方法。 最后，介紹了潛在的發展趨勢和即將出台的研究方向。
2. Filtering-Based Methods
根據傳感器融合類型，VI-SLAM方法還可以進一步分類為松散或緊密耦合。 表1列出了過去10年中最先進的VI-SLAM研究。本研究主要根據其后端優化類型將VI-SLAM方法划分為基於過濾和基於優化的方法。松耦合方法[24,25]通常僅融合IMU來估計方向和可能的位置變化，而不是完整的姿勢。相反，緊耦合方法[26,27]將相機和IMU的狀態融合在一起成為運動和觀察方程，然后執行狀態估計。 由於計算機技術的進步，緊密耦合的方法目前構成了主要的研究重點。
2.1. Feature Extraction and Tracking
2.1.1. Feature Extraction
跟蹤是VI-SLAM系統中的一個重要組成部分，它取決於跟蹤攝像機像素。 VI-SLAM跟蹤策略如表2所示。
特征檢測旨在識別特征並確定它們在圖像中的位置。 VI-SLAM中使用的特征主要是Harris [78]，FAST [79]，ORB [80]，SIFT [81]和SURF [82]。 特征檢測使用描述符來描述關鍵點鄰域。 在幾個點上總結了獲得圖像中的特征的方式：（1）對應於一階導數的局部最大值的像素點，（2）兩個或更多個邊緣的交點，（3）速率的點 梯度值和梯度方向的變化高，（4）角點處的一階導數最大而二階導數為零的點。
Brito [83]評估了不同的最先進的興趣點匹配方法的應用，包括SURF，SIFT，ORB，BRISK和FREAK，旨在進行三維場景的投影重建。 SLAM系統中還集成了新功能，例如平面特征[84,85]，直線或邊緣特征[86-88]。 重要的是，Yang [85]將單目序列翻譯成3D平面圖，並提出了低紋理環境的語義單目平面SLAM。
2.1.2. Feature Tracking
在SLAM系統中有四種常用的跟蹤像素的方法：描述符匹配[28]，基於濾波器的跟蹤[75]，光流跟蹤[26]和直接像素處理[77]。 描述符和特征的原理是相同的。 基於濾波器的跟蹤包括卡爾曼濾波器，粒子濾波器和均值平移方法。 這些方法對當前幀中的目標區域進行建模，並通過在下一幀中找到與模型最相似的區域來預測位置。 光流是估計運動狀態的有效手段，例如導航期間的速度，姿勢和位移。 光流涉及圖像亮度模式中的明顯移動並表示圖像變化。
根據計算類型，光流也可分為三種方法，即差異[89]，相關[90]和基於相位的方法[91]。 其中，塊匹配算法最常用於SLAM。 然而，它具有缺點，例如缺乏亞像素精度和圖像變形后匹配度的降低。 為了解決這些問題，同時應用圖像金字塔以提高計算速度[92]。
2.2. Dynamic and Observational Models
基於濾波的SLAM方法在動態和觀測模型中使用線性或非線性模型。 然而，非線性模型主要用於基於濾波的VI-SLAM方法，其動態模型表示為
其中u t是控制向量，w t是過程噪聲，w t~N（0，Q t），Q t是方差。 IMU狀態表示為16維向量。
其中IW q T是從世界幀旋轉到IMU幀的四元數，W p TI和W v TI分別對應於世界坐標系的旋轉和速度。 b g T和b a T分別對應於陀螺儀偏置和加速度計偏置。
基於過濾的經典方法框架如表3所示。傳播和更新步驟對基於過濾的方法很重要。 非線性觀測和預測方程模型表示為
基於過濾的VIO的工作主要集中在協方差矩陣，特征處理和EKF更新。 傳播的協方差矩陣表示為
更新方程表示為
2.3. Filtering-Based VIO and VI-SLAM
MSCKF[28]是一個經典的VI-SLAM系統。它也是基於多狀態約束EKF的視覺慣性導航系統。它采用測量模型來表示當從多個相機姿勢觀察到靜態特征時出現的幾何約束。該算法提取並匹配SIFT特征，並在過濾器狀態下維持30個攝像機姿勢。
此外，Li [27,36]證明了在濾波器中計算雅可比矩陣的標准方法不可避免地通過模擬測試導致不一致和精度損失，這表明MSCKF和FLS [93]的偏航誤差位於 ±3σ界限表示不一致。因此，他們提出了對MSCKF算法的修改，這確保了正確的可觀察性，而不會產生額外的計算成本。 Clement [53]比較了MSCKF和滑動窗口濾波器（SWF）。其結果表明，SWF比MSCKF更准確，對調諧參數更不敏感。 然而，MSCKF在計算上更便宜，具有良好的一致性，並且隨着跟蹤更多特征而提高了准確性。與基於特征的方法相比，Tanskanen [50]結合了EKF濾波器的優勢和最小化的光度誤差來提出僅使用CUP的直接VIO。越來越多的研究也開始將VI-SLAM技術應用於移動電話和清潔機器人等小型設備[41,46]。
Bloesch [51]提出了一種單目VIO-ROVIO，用於直接檢測亮度誤差，從圖像匹配中獲得准確，穩健的跟蹤。該模型還使用FAST角來識別候選特征區域。 多層圖像金字塔用於提取添加了邊緣特征的多層特征。 過濾器功能的工作過程如圖1所示。
其中w是輻射增強變換矩陣，m是平均強度誤差。初始化時50個特征的平均圖像處理時間為29.72 ms，而系統可以20 Hz平滑運行。此外，基於迭代擴展的VIO 提出了卡爾曼濾波器[63]。
S-MSCKF可以看做MSCKF的一個雙目版本。該軟件采用同步雙目圖像和IMU測量，並生成實時6DOF相機姿態估計。它使用FAST角[79]來增加KLT光流[94]的速度和跟蹤特征。 此外，循環匹配可用於移除在特征跟蹤和立體匹配期間生成的異常值。 由於它們的應用平台和風景不同，很難僅僅使用精確度來比較這些VI-SLAM方法。 因此，本研究調查了Appendis A中基於過濾和基於優化的VI-SLAM方法。
機器人技術中穩健且准確的狀態估計仍然具有挑戰性。 如果系統可以基於先前的映射獲得准確的姿態估計，則系統適應性將得到改善。 因此，Schneider [15]提出了一種名為Maplab的VI-SLAM系統，它包括創建，處理和混合多個地圖的集成功能。系統可擴展性適用於研究，為系統挖掘組件的選擇提供了評價方法。 此外，已經發現Maplab從圖像中提取BRISK [95]和FREAK [96]並融合IMU數據以進行定位和繪圖。可以將單獨的切片組合成單個全局圖，以校正測距和定位的漂移。ROVIOLI [63]是Maplab的前端，用於定位和映射;系統模塊和數據流如圖2所示。匹配窗口已經被證明可以提高基於集成陀螺儀測量的效率和魯棒性。 該系統可以輕松擴展當前框架中的新算法，例如多線程地圖構建，語義SLAM和定位。
結合基於濾波和基於優化的方法的優點的方法也引起了廣泛關注.Quan [97]提出了使用卡爾曼濾波器作為輔助的單目VI-SLAM。 為了實現位置識別並減少軌跡估計漂移，作者在后端構建了基於因子圖的非線性優化。 使用反饋機制來保證前端和后端的估計准確性。
循環閉合基本上是場景識別的問題，由於現實世界中各個地方的不同外觀，這是困難的。 為了解決這個問題，Galvez-López[109]提出了DBoW2來獲得具有BRIEF和FAST特征的二元包模型。雖然與使用SIFT或SURF的算法相比，該算法在特征提取方面更有效且更健壯，但是描述符缺乏 旋轉和比例不變性，它只能在2D環境中使用。 為了解決這個問題，Mur-Artal [12]使用了一個基於DBoW2和ORB的詞袋模型，包括隱私信息。
基於深度學習的循環閉包方法不斷出現[110-112]。 與基於外觀的方法相比，它們對環境變化更加穩健。 然而，設計在VI-SLAM系統中實時運行的神經網絡架構仍然具有挑戰性。 在機器人區域覆蓋問題中，目標是在合理的時間量內探索和建圖給定的目標區域，這需要使用最小冗余的重疊軌跡來提高覆蓋效率。但是，在沒有循環閉合的情況下，系統估計將不可避免地隨時間漂移。 有效的區域覆蓋和良好的SLAM導航性能代表了相互競爭的目標。 在這種情況下，需要主動SLAM算法來考慮區域覆蓋和導航不確定性性能，以有效地探索目標感興趣區域[113]。 Thrun [114]在訪問新地點（勘探）和通過重新訪問已知區域（開采）來減少不確定性之間找到了平衡，為隨機勘探或純粹開采提供了更有效的替代方案。
3.2. Optimization-Based VI-SLAM Algorithms
OKVIS（https://github.com/ethz-asl/okvis）[43-45]是一個出色的基於關鍵幀的VI-SLAM系統; 將IMU和重投影誤差項組合成一個成本函數來優化系統。舊的關鍵幀被邊緣化以維持一個有限大小的優化窗口，確保實時操作。 作為初始化和匹配的第一步，他們使用獲得的IMU測量來傳播最后的姿勢，以獲得狀態的初步不確定估計。 表4中調查了基於優化的VI-SLAM算法的優化策略。
為了避免由相對運動積分的參數化引起的重復約束，提出了預積分以減少計算。 這種方法首先由Lupton [35]描述，其中通過預先積分約束在兩幀之間改變IMU數據。 預積分原理如圖4所示。在Forster [47]將其應用於VI-SLAM框架以減少偏差之后，進一步發展了預積分理論。
將IMU數據融合到經典視覺SLAM中的系統也引起了廣泛的關注.Usenko [56]提出了一種立體直接VIO，它結合了IMU和立體聲LSD-SLAM [115]。他們制定了一個聯合優化問題來恢復包含相機姿態的完整狀態 ，平移速度和所有幀的IMU偏差。 Concha [55]設計了第一個可以在標准CPU下實時運行的直接緊耦合VIO算法，但沒有引入初始化。
VIORB [60]是一個基於ORB-SLAM的單目緊耦合VI-SLAM，包含ORB稀疏前端，圖優化后端，循環閉包和重定位。該方法首先僅使用單目視覺進行初始化，並在幾秒鍾后對比例，重力方向，速度，加速度計和陀螺儀偏差進行特定初始化。 VIORB提出了一種新穎的IMU初始化方法，分為以下四個步驟：（1）陀螺儀偏差估計，（2）尺度和重力近似（不考慮加速度計偏差），（3）加速度計偏差估計（比例和重力方向細化） ，和（4）速度估算。 在插入新的關鍵幀之后，本地地圖模塊使用局部BA來優化最新的N個關鍵幀以及在這N個關鍵幀上觀察到的所有點。 然后，基於關鍵幀的時間序列檢索局部地圖。 固定窗口連接第N + 1個關鍵幀和共同可見性圖。局部地圖中的關鍵幀如圖5所示。除單目和IMU融合方法外，還研究了雙目和RGBD與IMU融合的SLAM [54]，58]。
VINS-mono（https://github.com/HKUST-Aerial-Robotics/VINS-Mono）是一款出色的VI-SLAM方法，其前端使用KLT光流[94]跟蹤Harris角落，而后端使用滑動窗口進行非線性優化。 整個系統包括測量處理，估計初始化，沒有重定位的局部束調整，循環閉合和全局姿態優化。 有關系統框架，請參見圖6。 Fisheye相機模型用於前端，基本矩陣的異常值被RANSAC方法拒絕。 相機和IMU之間的校准誤差小於0.02 m，旋轉誤差小於1°[76]。 此外，該方法已成功應用於AR [18]。
此外，與深度學習和新傳感器相結合的方法伴隨着人工智能和計算機視覺的興起。 Clark [68]提出了一種端到端的VIO，它具有良好的結果，結合了傳感器融合和深度學習。 但是，此系統中未使用循環閉包和建圖。 Vidal [69]在VIO中使用事件相機代替亮度幀，以在低光和高動態場景中獲得良好的效果。 CNN-SLAM [116]用基於CNN的方法取代了LSD-SLAM中的深度估計和圖像匹配，以結合語義信息。
4. Comparisons between Filtering-Based and Optimization-Based Methods
4.1 Details
Different VI-SLAM methods are designed for different applications and it is hard to comprehensively evaluate them. To deeply compare filtering-based and optimization-based methods, this section provides the experiments of representative methods on EuRoC datasets using conditions that emulate state estimation for a flying robot. Because VIORB does not have open source code, this study uses an implementation from Jing Wang (https://github.com/jingpang/LearnVIORB).
不同的VI-SLAM方法針對不同的應用而設計，很難對它們進行全面評估。 為了深入比較基於過濾和基於優化的方法，本節提供了使用模擬飛行機器人狀態估計的條件對EuRoC數據集進行代表性方法的實驗。 由於VIORB沒有開源代碼，因此本研究使用了Jing Wang（https://github.com/jingpang/LearnVIORB）的實現。
Experiments are performed on an Intel Core i7-6700 × 8@3.40GHz computer with 16 Gb RAM.The EuRoC datasets consist of 11 visual inertial sequences recorded onboard a micro-aerial vehicle while it is manually piloted around three different indoor environments. Within each environment, the sequences increase qualitatively in difficulty with increasing sequence number. For example,MH_01 is “easy”, while MM_05 is a more challenging sequence in the same environment, introducing things such as faster motions and, poor illumination.
實驗在具有16 Gb RAM的Intel Core i7-6700×8,3.40GHz計算機上進行.EuRoC數據集由在微型飛行器上記錄的11個視覺慣性序列組成，同時在三個不同的室內環境中手動駕駛。 在每個環境中，序列在難度上隨着序列數的增加而定性增加。 例如，MH_01是“簡單的”，而MM_05在同一環境中是一個更具挑戰性的序列，引入諸如更快的運動和不良照明之類的事物。
To account for the nondeterministic nature of the multithreading, we run each sequence five times and show the median result for accuracy. In order to compare these methods equally, the mapping thread of VIORB is closed and the camera frequency of all methods is set to 20 Hz.
為了解釋多線程的不確定性，我們運行每個序列五次並顯示准確性的中值結果。 為了同等地比較這些方法，關閉VIORB的映射線程，並將所有方法的攝像機頻率設置為20 Hz。
4.2 Experiments
Experiment results are shown in Tables 5–7. In Table 5, when all eight logical cores are in use, the CPU utilization load is 100%. This study uses the elevation tool evo (https://github.com/MichaelGrupp/evo) to calculate the root mean square error of experiment results according to the ground truth. Notably, VIORB cannot obtain the full trajectory result on the V2_03_difficult dataset. In Table 7, memory utilization is represented as a percentage of the available RAM on the given
platform.
實驗結果如表5-7所示。 在表5中，當使用所有八個邏輯核時，CPU利用率負載為100％。 本研究使用提升工具evo（https://github.com/MichaelGrupp/evo）根據實際情況計算實驗結果的均方根誤差。 值得注意的是，VIORB無法在V2_03_diff困難數據集上獲得完整的軌跡結果。 在表7中，內存利用率表示為給定平台上可用RAM的百分比。
This section experiments representative optimization-based and filtering-based methods,which are all proposed in recent years. As shown in Table 5, the CPU utilization of ROVIO is the lowest among five methods, and filtering-based methods are better than optimization-based methods. The camera type of ROVIO, VINS-mono, and VIORB is monocular, while the camera type of S-MSCKF and OKVIS is stereo. The stereo VI-SLAM methods use more computing resources than monocular VI-SLAM methods, whether filtering-based or optimization-based. Importantly,filtering-based methods have advantages over optimization-based methods on CPU utilization.As shown in Table 6, VINS-mono obtains the best accuracy with a 0.079 m average root mean square error. OKVIS and VIORB have advantages in terms of memory utilization (according to Table 7),which implies that they are robust for system management. Optimization-based methods have more potential than filtering-based methods in terms of localization accuracy and memory utilization. In summary, optimization-based methods achieve excellent localization accuracy and lower memory utilization, while filtering-based methods have advantages in terms of computing resource. How to
find the right balance between competing requirements and accuracy can be challenging.
本節實驗了基於代表優化和基於過濾的方法，這些方法都是近年來提出的。如表5所示，ROVIO的CPU利用率是五種方法中最低的，基於過濾的方法優於基於優化的方法。 ROVIO，VINS-mono和VIORB的相機類型是單眼，而S-MSCKF和OKVIS的相機類型是雙目。雙目VI-SLAM方法比單目VI-SLAM方法使用更多的計算資源，無論是基於過濾還是基於優化。重要的是，基於過濾的方法優於基於優化的CPU利用率方法。如表6所示，VINS-mono獲得最佳精度，平均均方誤差為0.079 m。 OKVIS和VIORB在內存利用方面具有優勢（根據表7），這意味着它們對於系統管理是健壯的。在定位精度和內存利用率方面，基於優化的方法比基於過濾的方法具有更大的潛力。總之，基於優化的方法實現了出色的定位精度和較低的內存利用率，而基於過濾的方法在計算資源方面具有優勢。如何在競爭要求和准確性之間找到適當的平衡可能具有挑戰性。
5. Development Trends
5.1. SLAM with Deep Learning
目前，SLAM方案中使用的圖像特征的語義水平太低，使得特征可區分性較弱; 由當前方法構造的點雲圖不區分不同的對象。 深度學習將開發SLAM技術，可用於構建語義地圖以促進人機交互。 Rambach [117]通過訓練有素的短期記憶模型提出了一種深度學習的視覺慣性相機姿態估計方法。 Shamwell [118]提出了一種無監督的深度神經網絡方法，用於融合RGB-D圖像和絕對軌跡估計的慣性測量。
盡管SLAM中的語義問題研究仍處於初期階段，但將語義與SLAM相結合將使機器人能夠通過使用類別，關系和環境屬性的語義概念構建一致的地圖來更有效地獲得姿勢。 此外，SLAM系統的新地圖可以有效地存儲和顯示信息，例如SkiMap [119]和Road-SLAM [120]。 地圖的不斷更新和維護仍然是該領域的障礙。
5.2. Hardware Integration and Multi-Sensor Fusion
SLAM系統的輕量化和小型化特性使其能夠在小型設備（如嵌入式系統或手機）上良好運行。 Microsoft Hololens，Intel RealSense和Google Tango [121]取得了優異的成績。 VI-SLAM的定制硬件可以實現機器人的功能，AR / VR設備可以應用於運動，導航，教學和娛樂。 因此，對SLAM小型化和減輕重量的強烈需求，預示着嵌入式SLAM的未來[122]。
單個傳感器不能充分地感測環境信息，並且狀態估計是高度不確定的。 多傳感器融合可以解決這些問題，提高系統定位和環境映射的准確性.VI-SLAM技術是多傳感器融合的一個例子。 預計SLAM中多傳感器融合的研究和應用將會增長，[123,124]就是證明。
5.3. Active SLAM on Robots
相關的SLAM問題代表了機器人技術中的被動估計問題。然而，控制機器人運動問題的主要目的是控制機器人以最小化機器人地圖表示和定位的不確定性。在傳統方法中，SLAM是被動的並且通常在預先計划或人為控制的軌跡上執行。完全自主的機器人必須在給定高級命令的情況下計划運動，例如，來自人類主管的任務級命令以探索給定區域。在這個例子中，機器人應該相應地計划以完成給定的任務，並且不需要人類主管的詳細輸入[113]。因此，積極的SLAM [125]引起了逐漸的關注。主動SLAM算法在使機器人能夠識別可能的位置，計算所訪問的每個有利位置以及選擇最有效的行動計划方面表現出良好的效果。因此，SLAM技術應該包含諸如路徑規划[126]，任務規划[127]和目標識別[128]等技術。參考文獻[129,130]有助於積極的SLAM並將其結合起來，使機器人更加智能和實用。此外，集成SLAM技術的不同分支（例如，基於過濾和優化的方法以及松散且緊密耦合的方法）的優點將極大地提高系統的魯棒性和准確性。
5.4. Applications on Complex Dynamic Environments
SLAM算法通常假設靜態環境。 然而，移動機器人的實際工作環境通常涉及行人和車輛的空間位置隨時間的變化。 這些動態功能可以提供有關環境變化的有用信息。 識別環境中的靜態和動態特征以及有效地定位和映射機器人是重要的。Saarinen [131]為在工業動態環境中實現自動駕駛汽車的長期運行做出了貢獻，並提出了一種新穎的3D正態分布變換占用圖。 此外（為了確保更有效的實際應用），非結構化地形的季節性天氣變化需要更強大的SLAM系統來處理復雜的動態環境。 多機器人協作SLAM [132]具有高精度和高效率的優點，並且正在成為一個共同的研究領域。
6. Conclusions
VI-SLAM技術是機器人和計算機視覺領域中一個流行而復雜的研究課題。 本研究提供了VI-SLAM技術的概述，並總結了過去10年的方法。 從過濾和基於優化的角度介紹了最先進的VI-SLAM方法。 介紹了這些方法的各自框架，關鍵技術和優點。此外，系統地提出了VI-SLAM中的中心技術，包括特征提取和跟蹤，預集成和循環閉合。 本研究調查了代表性的VI-SLAM方法和着名的VI-SLAM數據集的性能。 通過實驗在基於過濾和基於優化的方法之間進行比較，這表明基於過濾的方法在計算資源方面具有優勢，而基於優化的方法實現了優異的定位精度和較低的存儲器利用率。 該研究還預測了SLAM的即將到來的發展趨勢和研究方向，這些方向有可能使該技術具有實質性。