LR Hybrid Bird's-Eye Edge Based Semantic Visual SLAM for AVP

Abstract

語義SLAM框架來利用hybrid edge信息在拼接圖上.

為了從拼接圖上提取edge 和 free-space 輪廓, 設計了不同的分割方法來移除充滿噪聲的 glare edge 強光邊緣 和 扭曲的物體邊緣(有IPM造成的).

因為只有 freespace 分割需要訓練, 我們的方法減少了 labeling burden 標注負擔.

同時構建了 語義邊緣點雲圖 和 occupancy grid map.

1. Introduction

組合了一個 無監督邊緣監測器 和 一組 IPM的邊緣分割方法. 我們的方法只需要粗糙的 freespace標注.

2. Related Work

A. Visual SLAM for Multi-Camera Systems

...

B. Semantic Visual SLAM in AD

我們設計了一個混合邊緣提取方法, 只需要粗糙的freespace標注, 10X快.

C. AVP Applications

..

3. Framework

• Bird's-eye edge extraction: 拼接圖和生成的freespace圖都是輸入; 然后檢測 raw hybrid edges, I"M分割來移除絕大多數的邊緣噪聲
• Mapping: 生成全局邊緣點雲圖, 和 occupancy grid map
• Odometry: 局部地圖中的當前pose是用語義點雲注冊做的, 給定輪速推的當前變換為初值

4. Bird's-eye Edge Extraction

拼接圖有很多 road markings, 都是好的信息, 但是圖像被強光污染了; \

有兩個子模塊, 1. raw edges 檢測; 2. 移除噪聲和扭曲的結果

A. Raw Edge Detection

這可以用傳統的邊緣檢測(比如Canny edge); 在freespace分割的幫助下, 移除非地面的邊緣;

B. IPM-based Edge Segmentation

清楚邊緣的一個基本四路是 利用IPM里面 distortion effect 的特性; 大多數的邊緣都是穩定 radial 的, 大約是經過每個相機的focal point的.

Ray-based segmentation

...

Line-based segmentation

...

Polyline-based segmentation

...

5. Semantic Odometry and Mapping

A. Local Map Generation

分割模塊不能完全移除有噪聲的邊緣. 同時, 一些road markings或者停車點的邊緣可能被錯誤的移除, 如果他們正好定位在射線方向上. 所以當前的提取edge有可能不完整不穩定.

我們構建了local edge map, 如上圖, 不同幀的融合結果是概率.

B. Pose Estimation

首先把當前幀觀測投影到 local map (通過T), 數據關聯通過最近鄰搜索, 當前位姿:

\[\begin{aligned} \min _{\mathbf{T}_{\text {venicle }}^{\text {local }}} \underbrace{\sum_{i}\left\|\mathbf{p}_{i}^{\text {local }}-\mathbf{T}_{\text {vehicle }}^{\text {local }} \mathbf{p}_{i}^{\text {vehicle }}\right\|_{2}}_{\text {bird's-eye edge point distances }}+\\ & w \underbrace{\sum_{j}\left\|\mathbf{p}_{j}^{\text {local }}-\mathbf{T}_{\text {vehicle }}^{\text {local }} \mathbf{p}_{j}^{\text {vehicle }}\right\|_{2}}_{\text {free-space edge point distances }} \end{aligned} \]

C. Global Mapping

..

6. Experiments

..

7. Conclusions

沒啥.