1. 研究背景及相關工作
1)研究背景
單目視覺慣性slam是一種旨在跟蹤移動平台的增量運動並使用來自單個車載攝像頭和imu傳感器的測量結果同時構建周圍環境地圖的技術。視覺相機和慣性測量單元(imu)是slam技術的理想選擇，因為這兩種傳感器模式尺寸小，價格便宜，功耗低，並且可以相互補充。視覺傳感器在大多數紋理豐富的場景中效果很好，但是如果遇到玻璃，白牆等特征較少的場景，基本上無法工作；imu長時間使用有很大的累計誤差，但在短時間內，其相對位移數據又有很高的精度。所以視覺傳感器失效時，融合imu數據，能夠提高定位的精度，並且在系統正常運行過程中結合相機和imu數據同時對狀態進行估計。這些屬性使得視覺慣性組合可以廣泛用於實際應用中，例如機器人導航[1][2]，自動或半自動駕駛[3]，實時三維重建[4]，虛擬和增強現實[5]。
幾種視覺慣性融合技術已經被提出，像遞歸(卡爾曼濾波)算法[6][7]，使用imu測量數據進行狀態積分，以及基於關鍵幀的非線性優化方法[8][9][10]，同時最小化視覺和慣性幾何誤差。然而這些方法的性能很大程度上取決於相機和imu之間的6自由度的精確外部參數校准。無論是在求取相機位姿的時候還是在后端融合相機和imu數據進行狀態優化的過程中都用到了外部參數。不正確的校准將在運動估計中引入系統偏差並降低整體導航性能。
2)相關工作
獲得精確外部參數的一種代替方法是利用離線方法[11][12][13]。然而，這些方法復雜且耗時，因為他們通常需要專業人士小心地將傳感器套件移動到固定的校准目標前面。此外，每當重新定位傳感器或施加顯著的器械應力時，通常需要重復該過程。另一種替代方案是應用在線校准方法來聯合估計初始值和外部參數。Kelly等人提出了一種基於無跡卡爾曼濾波器的自校准方法[14]來校准外部參數。Martinelli引入了一種封閉形式的解決方案來估計初始值[15]，后來在[16]中提出了它的修訂，以自動估計陀螺儀偏差。Yang和Shen用基於優化的線性估計器校准外部參數和初始值(imu偏差除外)[17]。在他們的擴展單目視覺慣性系統(VINS-Mono)中，imu偏差校准包含在滑動窗口非線性估計器中[18]。
2. 問題描述
因為優化時，擁有視覺和慣性兩種傳感器數據，需要利用這兩種數據同時對系統狀態進行優化。所以，我們認定以imu位姿為基准，在進行圖像點與空間點的操作時便通過橋梁—外參R和T將imu位姿轉換成相機位姿。所以R T的精准度極為重要。
3. 本人問題的描述及解決辦法
輸入：Ps[i] Rs[i] 圖像幀 (Ps Rs 代表imu位姿，精度極高)
輸出：R T(相機-imu外參)
- 根據公式
,求出R的初值，這里用到了相機位姿，所以需要做純視覺初始化。 - 需要求尺度s，公式如下。這里需要做改進，因為T未知，所以同時將T設為待求量(改進公式見筆記本)。 (求出s后還可以通過該公式
求出T的初值 )
- 第三步非線性優化時會優化空間點深度，所以這步要做三角化，初始化深度。(三角化時，以相鄰兩幀的相機位姿為基准，所以會用到純視覺初始化的相機位姿)。
- 非線性緊耦合優化，公式：
同時優化R T和空間點深度λ。
4. 新思路
1) 簡單對比發現vi orb-slam的初始化考慮因素更多一些(包括求取了加速度偏置，以及外參的平移)，兩個方法的初始化詳細對比見我的另一篇博客https://www.cnblogs.com/mybrave/p/9564899.html。
所以，嘗試做該實驗，將vi orb-slam中視覺慣導初始化的部分移植到vins中，查看優化效果。
2)
- 使用雙目相機算出R的初值。
- 直接通過雙目算出空間點深度，這里便不需要求s和相機平移。
- 第三步進行非線性緊耦合優化公式為：
(雙目求出的空間點深度要比單目+imu算出的深度更精確嗎？？？ 差別就在尺度s和兩幀之間的旋轉平移的准確度上，尺度s即在初始化的過程中求出)
[1] A. Stelzer, H. Hirschmüller, and M. Görner, “Stereo-vision-based navigation of a six-legged walking robot in unknown rough terrain,” Int. J. Robot. Res., vol. 31, no. 4, pp. 381–402, 2012.
[2] H. Liu, Z. Wang, and P. Chen, “Feature points selection with flocks of features constraint for visual simultaneous localization and mapping,” Int. J. Adv. Robot. Syst., vol. 14, no. 1, pp. 1–11, 2016.
[3] S. Weiss, D. Scaramuzza, and R. Siegwart, “Monocular-SLAM-based navigation for autonomous micro helicopters in GPS-denied environments,” J. Field Robot., vol. 28, no. 6, pp. 854–874, 2011.
[4] P. Tanskanen, K. Kolev, L. Meier, F. Camposeco, O. Saurer, and M. Pollefeys, “Live metric 3d reconstruction on mobile phones,” in Proc. IEEE Int. Conf. Comput. Vision, 2013, pp. 65–72.
[5] T. Oskiper, S. Samarasekera, and R. Kumar, “Multi-sensor navigation algorithm using monocular camera, IMU and GPS for large scale augmented reality,” in Proc. IEEE Int. Symp. Mixed Augmented Reality, 2012, pp. 71–80.
[6] M. Li and A. I. Mourikis, “Improving the accuracy of EKF-based visual-inertial odometry,” in Proc. IEEE Int. Conf. Robot. Autom., 2012, pp. 828–835.
[7] P. Tanskanen, T. Naegeli, M. Pollefeys, and O. Hilliges, “Semi-direct EKF-based monocular visual-inertial odometry,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2015, pp. 6073–6078.
[8] S. Leutenegger, S. Lynen, M. Bosse, R. Siegwart, and P. Furgale, “Keyframe-based visual-inertial odometry using nonlinear optimization,” Int. J. Robot. Res., vol. 34, no. 3, pp. 314–334, 2015.
[9] V. Usenko, J. Engel, J. Stückler, and D. Cremers, “Direct visual-inertial odometry with stereo cameras,” in Proc. IEEE Int. Conf. Robot. Autom., 2016, pp. 1885–1892.
[10] C. Forster, L. Carlone, F. Dellaert, and D. Scaramuzza, “IMU preintegration on manifold for efficient visual-inertial maximum-a-posteriori estimation,” in Proc. Robot. Sci. Syst., 2015.
[11] J. Rehder and R. Siegwart, “Camera/IMU calibration revisited,” IEEE Sensors J., vol. 17, no. 11, pp. 3257–3268, 2017.
[12] P. Furgale, J. Rehder, and R. Siegwart, “Unified temporal and spatial calibration for multi-sensor systems,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., 2013, pp. 1280–1286.
[13] P. Furgale, T. D. Barfoot, and G. Sibley, “Continuous-time batch estimation using temporal basis functions,” in Proc. IEEE Int. Conf. Robot. Autom., 2012, pp. 2088–2095.
[14] J. Kelly and G. S. Sukhatme, “Visual-inertial sensor fusion: Local-ization, mapping and sensor-to-sensor self-calibration,” Int. J. Robot. Res., vol. 30, no. 1, pp. 56–79, 2011.
[15] A. Martinelli, “Closed-form solution of visual-inertial structure from motion,” Int. J. Comput. Vision, vol. 106, no. 2, pp. 138–152, 2014.
[16] J. Kaiser, A. Martinelli, F. Fontana, and S. Scaramuzza, “Simultaneous state initialization and gyroscope bias calibration in visual inertial aided navigation,” IEEE Robot. Autom. Lett., vol. 2, no. 1, pp. 18–25,
2017.
[17] Z. Yang and S. Shen, “Monocular visual-inertial state estimation with online initialization and camera-IMU extrinsic calibration,” IEEE Trans. Autom. Sci. Eng., vol. 14, no. 1, pp. 39–51, 2017.
[18] Y. Lin, F. Gao, T. Qin, W. Gao, T. Liu, W. Wu, Z. Yang, and S. Shen, “Autonomous aerial navigation using monocular visual-inertial fusion,” J. Field Robot., 2017.