《基於圖像點特征的多視圖三維重建》——相關概念匯總筆記

1.    基於圖像的圖像3D重建 傳統上首先使用 Structure-from-Motion 恢復場景的稀疏表示和輸入圖像的相機姿勢。
然后，此輸出用作Multi-View Stereo（多視圖立體）的輸入，以恢復場景沖密集表示。

        path/to/project/sparse ----------------    包含所有重建組件的稀疏模型
        path/to/project/dense  ----------------    包含其相應的密集模型
        
    Structure-from-Motion （運動推斷結構）是將3D結構從其投影重建為一系列圖像的過程。
        1.特征點檢測和提取
        2.特征匹配和幾何驗證
        3.結構和運動重建
        
    Multi-View Stereo（多視圖立體）獲取SfM的輸出以計算圖像中 每個像素的深度 和/或 法線信息。

    
**** 透視相機模型(perspective camera model) / 小孔成像 ****
圖像特征點檢測與匹配
    特征點檢測算法
        1. Laplacian檢測算法
        2. DOG（difference of Gaussian）檢測算法
        3. Harris-Affine Hessian-Affine
        4. SIFT（scale-invariant feature transform）尺度不變特征變換
    特征點描述：
        1.SIFT描述符
        2.PCA-SIFT
        3.SURF（speedd up robust features）
    特征點匹配
        1.LSH（locality sensitive hashing） 局部敏感哈希
        2.基於層次的k均值（hierarchical k-means）
        3.ANN（approximate nearest neighbor） 高維近似最鄰近
        4.RANSAC（random sample consensus） 隨機采樣一致
        
基於圖像的稀疏三維重建
    相機定標
        三維重建中的相機定標（camera calibration）指的是求解相機投影矩陣（camera projection matrix）過程。
        相機投影矩陣由相機的內部參數（intrinsic parameters）和外部參數（extrinsic parameters）共同決定。
        內部：焦距 主點     外部：旋轉矩陣 平移向量組
        自定標（self calibration） 利用絕對二次曲線（absolute conic,AC）及其對偶(dual absolute conic, DAC)成像的不變性
    運動推斷結構（structure from motion, SfM）
        在相機內部參數已知的情況下，同時恢復相機的外部參數和三維場景結構的過程。
        最新的SfM方法的改進包括：采用相機姿態估計來初始化相機參數；采用新的啟發式方法選擇初始兩視圖；
                                引入三維重建點篩選過程提出質量較差的重建結過，以及使用從圖像文件EXIF標記中提取的焦距信息
        集束優化（bundle adjustment, BA）
        誤匹配產生了外點（outlier） RANSAC處理外點
        魯棒三維重建方法
        加速：平衡三焦距張量樹組織  分層聚類樹組織

多視圖稠密匹配與三維重建
    算法回顧
        多視圖立體（multi-view stereo, MVS）的目標是從多副定標圖像中重建完整、稠密的三維模型。
        第一類算法首先在三維體積（3D volumn）中計算某種代價函數，然后從此三維體積中抽取物體的表面模型
            體素着色（voxel coloring）及其變種  體積馬爾可夫（volumetric MRF） 最大流（max-flow） 多路圖割（multi-way graph cut）
        第二類算法通過迭代的表面進化來最小化某種代價函數。
            體素（voxel） 水平集（level-set） 多邊形網格 空間雕刻（space varving）及其變種
        第三類方法利用基於圖像空間的方法計算一系列深度圖。
        第四類算法直接通過圖像特征提取和匹配來獲得圖像對應，然后建立場景的稠密或准稠密（quasi-dense）三維點雲，最后從稠密三維點雲中重建三維表面模型。
    性能評估
        Middlebury Multi-view Stereo

多視圖水下三維重建
    水下成像與折射變形
    折射建模
        折射相機模型（refractive camera model）顯示的對折射建模
        慣性測量單元（inertial measurement unit, IMU）

多視圖幾何中常用的優化方法
    分為確定性方法和非確定性算法
    確定性方法
        數值迭代算法：GNA（Gauss-Newton algorithm）、GDA（gradient descent algorithm） 和 LMA（Levenberg Marquardt algorithm）
        集束優化（BA）

第二章--多視圖幾何及多視圖三維重建基礎

多視圖三維重建就是從多副二維圖形中獲取場景的結構和個圖像對應的相機信息。
    
在不改變相機定標矩陣的情況下，三維重構可以是相差一個任意相似變換（平移、旋轉和縮放）的重構，因此通常所說的多視圖三維重建實際上是一種度量三維重建（metric 3D reconstruction）


第三章--圖像點特征檢測以及多視圖匹配

多視圖稀疏點特征對應關系的確立步驟：
    1. 利用圖像點特征檢測算法搜索定位圖像中可能與其他圖像存在對應關系的興趣點；
    2. 對圖像點特征周圍一定范圍的區域進行描述，為每個圖像點特征提供一個描述子（通常為高維特征向量）
    3. 在點特征定位和描述的基礎上，通過描述子匹配建立各圖像中稀疏點特征之間的對應關系。

Harris點特征檢測
SIFT（scale-invariant feature transform）尺度不變特征變換：在尺度空間（scale space）中尋找極值點來檢測穩定的點特征。
    尺度空間理論的基本思想是在圖像信息處理模型中引入尺度參數，通過變化尺度參數獲得多尺度下的空間表示序列，在尺度空間中提取不同分辨率的圖像特征
    高斯查分（DOG difference of Gaussian）

SIFT點特征描述子的構建主要包含旋轉主方向估計、描述子生成等步驟。
RANSAC（random sample consensus, 隨機抽樣一致）

第四章--多視圖三維重建相關優化方法基礎

非線性優化算法 非線性最小二乘優化方法及三種全局優化方法
全局優化方法包括確定性優化方法中的凸優化（convex optimization）方法,非確定優化方法中的差分進化（differential evolution）算法以及混合優化（hybrid optimizatioin）方法
非線性最小二乘優化算法： 高斯牛頓迭代算法（Gauss-Newton algorithm） 萊文伯格-馬誇特迭代法（Levenberg-Marquardt algorithm）--集束優化應用了部分規律
凸優化問題-線性規划問題（Linear programming,LP）和二階錐規划問題（second-order cone programming, SOCP）
凸優化求解問題的內點算法（interior-point algorithm）
差分進化（differential evolution）