作者：李城
點擊上方“計算機視覺工坊”，選擇“星標”
干貨第一時間送達
3D視覺的核心問題是恢復場景結構、相機位姿、和相機參數，而解決方式有兩種，一種是off-line的sfm(structure from motion)，一種on-line的slam(simultaneous localization and mapping)。Slam 與sfm的區別在於，大多數slam系統是需要提前標定相機，而sfm 則不需要提前標定(通常所說的三維重建和slam的區別，嚴格意義上應該是sfm 和slam的區別)。
Sfm 可以分為以下幾類：Global SfM、Incremental SfM、Hybrid SfM、Distributed SfM，這里主要講解Global SfM和ncremental SfM(主要集中在global sfm)。
一、Global SfM workflow:
Global sfm 的內容包括rotation averaging 和anslation averaging。Rotation averaging觀測值：一組相機pose的相對rotation目標：計算相機的絕對旋轉優化：L2范數，采用L2范數的原因有兩個：1）估計一個好的旋轉初始值 2）收斂快理論基礎：
translation averaging觀測值:同rotation averaging 一樣，觀測值是兩一組pose之間的相對translation目標：計算相機的絕對旋轉優化：L1范數，原因是L1 范數對噪聲魯邦理論基礎：
Translation averaging 在global sfm 中計算困難，原因如下：
1、 兩視圖之間的運動不能恢復尺度(tvec 是從本質矩陣中恢復出來的，但是本質矩陣的秩是5，不包含尺度，所以global sfm 是屬於三焦張量問題，即是至少tack 3幀才能進行運算。同時，global sfm 容易出現退化現象，當相機都處於同一條線上時候，對於無人機圖像來說，這個時候軌跡就會出現bending map。解決bending map 的手段有三點：（1）提前對相機標定（2）以無人機為例，飛行航線不要在恆定高度上飛行（3）融合其他傳感器，如gps 位置約束等退化的case 如下：
以上分別為側面圖和俯視圖以上結果是fusion low-cost gps的效果，但是依舊可以看出有彎曲的現象(不融合的效果特別差)飛行方式改變，fusion low-cost gps，退化現象消失，如下：
從側面圖和俯視圖可以看出，當飛行方式發生改變，global sfm 退化現象消失。2、 global sfm translation averaging第二個的痛點是對噪聲敏感，其不像Incremental sfm，不斷的ransac 和local ba 來減少bad EGs的影響。如何去改善global sfm 的魯棒性：1）如果rotation 是已知的（不夠精確)，提供global rotation初始值給global sfm pipeline ，利用這些初始值在BA中增加relative rotation constraint2）如果位置已知，sfm 增加位置約束，即最小化先驗位置和估計的位置之間的gap，位置約束可以替代slam回環(如果是low cost gps ,位置約束不能保證精度，但可以起到一個control strcture 的作用(AR 常用)—參考vins-fusion思想 ，這個openmvg 中已經實現位置約束。
二、Incremental SfM workflow:
增量sfm這里不准備太多的敘述，需要注意的是初始化選擇像對的基准：
- enough matching
- big baseline
三、global sfm和incremental sfm 優缺點和應用場景
應用場景：
1.當考慮速度不考慮精度的時候，並且當圖像overlap 比較大的時候，用global sfm 可以達到理想效果，因為有更多的數據去average（Feature track based translation averaging）
2.如果考慮精度，選擇Incremental sfm ，但是在大場景下，incremental sfm會隨着圖像的增多，速度越來越慢，同時由於誤差的累計，會出現drfit ，這種情況下可以采用Distributed SfM。
參考文獻 ：1.Rotation Averaging and Strong Duality[J].Anders Eriksson2.Global Structure-from-Motion and Its Application[R]3.Linear Global Translation Estimation with Feature Tracks[J].Zhaopeng Cui
本文僅做學術分享，如有侵權，請聯系刪文。
下載1在「計算機視覺工坊」公眾號后台回復：深度學習，即可下載深度學習算法、3D深度學習、深度學習框架、目標檢測、GAN等相關內容近30本pdf書籍。
下載2在「計算機視覺工坊」公眾號后台回復：計算機視覺，即可下載計算機視覺相關17本pdf書籍，包含計算機視覺算法、Python視覺實戰、Opencv3.0學習等。
下載3在「計算機視覺工坊」公眾號后台回復：SLAM，即可下載獨家SLAM相關視頻課程，包含視覺SLAM、激光SLAM精品課程。
重磅！計算機視覺工坊-學習交流群已成立
掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿 微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。
同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點雲后處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流等微信群，請掃描下面微信號加群，備注：”研究方向+學校/公司+昵稱“，例如：”3D視覺 + 上海交大 + 靜靜“。請按照格式備注，否則不予通過。添加成功后會根據研究方向邀請進去相關微信群。原創投稿也請聯系。
▲長按加微信群或投稿
▲長按關注公眾號