魚眼攝像頭SLAM
在機器人技術、攝影測量學和計算機視覺等領域,魯棒相機位姿估計是許多視覺應用的核心。近年來,在復雜、大規模的室內外環境中,人們越來越關注相機位姿估計方法的實時性、通用性和可操作性。其中,相機的視場角起着重要的作用,特別是在具有挑戰性的室內場景中,往往是通過魚眼鏡頭或相機鏡頭組合來增加視場角。除了使用魚眼相機增加視野外,還可以將多個相機進行剛性耦合,形成一個多相機系統,從而有效地利用冗余觀測信息來保證位姿估計的魯棒性和觀測目標特征的長可見性。因此,搭載多魚眼相機系統的自主定位與建圖(Simultaneous Localization and Mapping,SLAM)可以捕獲更豐富的環境特征信息,從而獲得更魯棒的位姿跟蹤效果。
圖1. 魚眼攝像頭SLAM示例
一種基於特征的同時定位和構圖（SLAM）系統，用於從寬基線移動測圖系統（MMS）的多魚眼相機裝置中獲得的全景圖像序列。
首先，魚眼攝像機標定方法結合了等距投影模型和三角多項式，以實現從魚眼攝像機到等效理想相機模型的高精度標定，從而保證了從魚眼圖像到相應全景圖像的准確轉換。
其次，我們開發了全景相機模型、具有特定反向傳播誤差函數的相應束調整以及線性姿態初始化算法。
第三，實現由初始化，特征匹配，幀跟蹤和閉合環方面的幾種特定策略和算法組成的基於特征的SLAM，以克服跟蹤寬基線全景圖像序列的困難。我們對超過15公里軌跡和14,000張全景圖像的大型MMS數據集以及小型公共視頻數據集進行了實驗。我們的結果表明，本文的全景SLAM系統PAN-SLAM可以在包括挑戰性場景（例如黑暗隧道）在內的小規模室內和大型室外環境中實現全自動相機定位和稀疏地圖重建，而無需任何其他傳感器輔助。測量的絕對軌跡誤差（ATE）精度接近0.1 m的高精度GNSS / INS。PAN-SLAM在各種環境下也具有無與倫比的魯棒性，勝過幾種基於特征的魚眼鏡頭單目SLAM系統。該系統可被認為是一種理想的補充解決方案，替代昂貴的商用導航系統，尤其是在信號阻塞和多路徑干擾普遍存在的城市環境中。
主要貢獻
1. 基於多鏡頭組合式全景相機開發了精確的特征匹配和跟蹤，閉環檢測以及光束法調整的可靠姿態初值估計，這些技術在復雜的室外環境中具有高穩定性能；
2. 提出了一種新的魚眼鏡頭校准方法，該方法可實現亞像素精度，並確保平滑跟蹤和光束法調整的高精度；
3.在大范圍多基線全景圖像序列數據集和從多魚眼相機組合裝置捕獲的開源小范圍視頻數據集上，PAN-SLAM系統的魯棒性均優於當下其他幾種方法。PAN-SLAM是唯一能夠跟蹤所有圖像序列的系統。
4.實驗證明，PAN-SLAM的定位精度為0.1 m，與昂貴的商用GNSS / INS跟蹤系統的定位精度一樣高，並且在信號阻塞情況下也更加可靠。它可以是當前商用GNSS / INS導航系統的強大補充和替代解決方案。
算法流程
1. 全景相機的成像、檢校與優化模型
1.1 全景相機的成像
圖2，(a)全景相機模型；(b)兩個相鄰魚眼相機邊緣影像上的投影不確定性。
多鏡頭組合式全景相機由一系列獨立、固定的魚眼鏡頭組成,多個鏡頭獨立成像,再拼接為全景圖。每個鏡頭具有各自的投影中心C，在實際制造過程中難以保證與球心S完全重合。物理上三點共線是C，Uc，P'。所以為了實現統一的全景坐標系，需要將實際像素坐標Uc投影到某個指定半徑的球面上得到U。為了避免不共心導致的定位誤差，通過事先標定單個相機中心在一個全景相機坐標系下的旋轉Ri和位置Ti，得到表述共線條件方程的光束仍然是CUcP'。
首先將每個魚眼影像上的像點轉換到半徑為r的球面上，然后計算球面點的極坐標，最后根據給定的全景圖像寬高計算二維平面坐標。對於全景圖像難免存在融合誤差，如圖1(b)所示，不過在連接點提取過程中排除該誤差，不會影響魚眼相機到全景相機之間的剛體幾何轉換。
1.2 魚眼相機標定
為使得核線誤差降低到1像素以下,本文對該模型加以改進,提出一種更為精確的魚眼相機檢校方法，顯式地加入了魚眼相機的成像過程。
1.3 光束法平差
類似ORB-SLAM優化方法，不過改進g2o庫使其適用於全景成像模型，給出重投影誤差函數式的解析導數形式，即誤差函數對於位姿即地圖點的雅可比矩陣。
圖3，三角形節點代表位姿,圓形節點代表地圖點,邊代表誤差項(a)位姿優化；(b)局部光束法平差；(c) 本質圖優化；(d)全局光束法平差
本文實現的優化算法包含4類：圖3(a)，單幀位姿優化（僅根據匹配的地圖點計算當前幀的精確位姿）；圖3(b)，局部地圖優化和平差（根據局部共視關鍵幀優化位姿與局部地圖點）；圖3(c)，本質圖優化（用於檢測閉環后，對全局關鍵幀的位姿進行調整）；圖3(d)，全局光束法平差（優化所有位姿和地圖點）。魚眼圖像上不同位置投射到球面上的變形不同，因此不同的點采用不同的誤差閾值。
2.全景SLAM流程
系統分為3個線程並行工作，分別為跟蹤，局部地圖構建與閉環。所有步驟都經過調整，可以在復雜的室外環境中對寬基線全景圖像序列進行准確穩健的跟蹤和定位。
圖4，全景SLAM流程
2.1 初始化
初始化本文將 ORB特征用於PAN-SLAM 系統的特征提取.魚眼相機變形較大,匹配難度高,誤匹配數量大.因此采用三幀而非兩幀進行初始化.
2.2 地圖點跟蹤
圖5，地圖點跟蹤算法流程
2.3 關鍵幀選擇
本文的全景影像框幅高達8000×4000像素,由於車輛高速行駛,存在內存讀寫的限制,因此采用較大的采樣間隔(１~３m ).
2.4 局部地圖構建
根據全景相機的特殊情形,本文設定共視關鍵幀必須同時滿足: ①與當前關鍵幀的共視點數≥50個;②與當前關鍵幀在圖像序列中的間隔關鍵幀不超過40個;③其與當前關鍵幀的共視點在兩幀所在金字塔層數差異>2的特征點數不超過總共視點數85%。
2.5 閉環檢測
我們使用類似於ORB-SLAM的循環檢測過程，但針對從不同方向捕獲的全景圖像引入了特殊的匹配策略。在實踐中，即使對於針孔相機，基於BoW的方法也無法很好地識別橫向或反向閉環。使用全景相機時，情況變得更糟。我們在這里采用了一種簡單的對齊策略，即將當前球面圖像展開為搜索到的先前幀的方向的2D圖像。附帶說明的是，此過程相對較慢；因此，如果檢測到足夠的循環，則可以跳過此步驟。
圖6，（a）魚眼模式；（b）全景模式，可以很好地跟蹤到足夠且均勻分布的特征。
