在第之前的章節中，已經提出RIMF來檢測移動像素。 為了計算RIMF，應首先估算GIMF。 此外，RIMF的不確定性也可以根據自我運動和視差圖不確定性來計算。
Global Image Motion Flow （GIMF）怎么計算呢？
GIMF用於表示由相機運動引起的圖像運動流。 給定前一圖像幀中的像素位置pt-1 =（ut-1; vt-1; 1）^T，我們可以根據Eq (1) 預測其當前幀中的圖像位置pt =（ut; vt; 1）^T。。 理論上，當前幀中3D靜態點的圖像位置對應關系可以通過前一幀中的深度信息和相機的相對運動信息來預測。 但是，此預測僅在3D點來自靜態對象時才起作用，並且不適用於動態對象。 最后，由攝像機運動引起的圖像點（u; v）^T的GIMF 光流值g =（gu; gv）^T可表示為：
Residual Image Motion Flow RIMF 計算
假設在點（u; v）處的前一幀和當前幀之間估計的MOF是m =（mu; mv）^T，則RIMF的值q =（qu; qv）^T被計算為：
理想情況下，靜態點的RIMF應為零，而移動點的RIMF應大於零。簡單地將RIMF絕對差異與固定閾值進行比較不會得到令人滿意的結果，能將運動像素與靜態像素區分開，因為不同3D世界位置的點具有不同的圖像運動。此外，估計的不確定性，例如，在相機運動或像素深度上，對圖像點有不同的影響。忽視這些不確定性可能導致大量誤報檢測。 RIMF的不確定性主要來自四個部分。
第一個也是最重要的一個是相機運動估計的不確定性，因為它根據方程（1）對每個像素具有全局影響。此外，它會影響不同位置的像素。
第二個影響部分是深度估計的誤差，
第三個影響部分來自光流估計過程。
最后一個是像素位置噪聲，它直接來自圖像噪聲（圖像校正，相機本征和外部校准，數字圖像量化等）
Motion Likelihood Estimation 運動似然估計
如上所述，固定閾值不會得到檢測移動像素的令人滿意的解決方案。 為了處理這個問題，使用一階高斯近似將RIMF的不確定性從傳感器傳播到最終估計。 如在等式（7）中，RIMF是相機運動θ，前一幀處的像素位置（u; v），視差d和測量的光流（μ; mv）的函數。在這項工作中沒有考慮測量光流的不確定性，因為它只影響局部的檢測結果。 基於[5]中的前向協方差傳播框架，可以使用如下的一階近似來計算RIMF協方差：
其中J表示關於每個輸入變量的雅可比矩陣（例如，相機運動Θ，像素位置（u; v）和前一幀中的視差值d）和Σ= diag（ΣΘ;Σo）是協方差矩陣 所有輸入變量。 相機運動的協方差矩陣是ΣΘ，估計過程中的視差值的協方差矩陣是Σo=diag (σu2;σv2; σd2),其中σu和σv是用於描述相機的像素量化誤差和σd的方差。 在[18]中，作者提出視差圖的不確定性也可以被認為是近似標准高斯分布，其方差可以線性近似為：
其中σ0和γ是兩個常數參數，其中Ud（u; v）是位置（u; v）上的視差值的不確定性。 這里，匹配成本用作視差值的置信度度量（更多細節可以在[29]中找到）。 與Σ中每個參數的方差相比，自我運動參數，位置和視差之間的協方差可以忽略不計，並且估計過程是困難的。 基於上面估計的ΣRIMF，我們可以計算流向量移動的可能性。 假設靜止世界和高斯誤差傳播，假設流向量遵循具有零均值和協方差矩陣ΣRIMF的高斯分布。 可以通過擬合優度檢驗該零假設來檢測與該假設的偏差。 或者，可以計算與RIMF向量相關聯的Mahalanobis距離[30]：
其中q是在等式7中定義的特定圖像位置處的RIMF向量。 由於μ2q是χ2分布的，因此可以根據其μq值來計算RIMF向量的RIMF運動似然ξ（m）。
在圖（3）中，子圖(a),(b)是由曼哈頓距離μq產生的運動似然圖像。 綠色像素被檢測為靜態像素，紅色像移動一樣。 在子圖a中，兩個騎車者來自車輛的相反方向，並且行人在與車輛相同的方向上移動，並且所有三個都被很好地檢測為移動。 還檢測到玻璃窗中移動的汽車的陰影。 在子圖b中，已經檢測到所有移動的行人，但是地面上的誤報是由MOF誤差引起的。
運動分割
可能性閾值可以應用於運動似然圖像，以便區分移動和靜態像素。 然而，由於不完美的MOF，檢測噪聲可能遍及該過程。 圖（3）顯示了使用不同閾值的一些檢測結果。 例如，無論使用哪個閾值，幀16（子圖3a）處的運動可能性估計都是良好的並且已經很好地檢測到所有運動對象。 盡管在幀535（子圖3b）處的運動似然也被很好地估計，但由於光流的粗略估計，它仍然在靜態物體的邊緣上有噪聲。 較低的閾值導致較高的真陽性和較高假陽性; 相反，較高的閾值可能導致較差的檢測率。 無法確定適合所有情況的最佳閾值。
文中使用了 Graph-Cut for Motion Segmentation （沒有具體看）具體效果如下
邊界框生成
應在每個移動物體周圍生成邊界框。 另外，還應該消除一些錯誤檢測的像素（例如，陰影）。 在我們的方法中，我們主要關注車輛前方30米（縱向），20米（橫向）和3米（高度）的立方體檢測空間。 在該有限子空間中，通過將所有檢測到的3D移動點投影到xOz平面上來構建密度圖。 密度圖與累積緩沖區相關聯。 累積緩沖區中的單元在xOz平面上覆蓋50cm×50cm的區域。
基於U-Disparity Map的ROI生成
在每個聚類中，可以為下一個識別步驟的每個移動對象生成邊界框。 區域增長用於去除冗余並使用密集視差圖集成部分檢測。 U-V視差圖[34,35]是經典視差圖的兩個變體，通常用於道路和障礙物檢測。 U視差圖具有與原始圖像相同的寬度，其通過記錄沿每個圖像列共享相同視差值的像素的數量而形成。
在U視差圖中，由於相似的視差值，直立對象將形成水平線。 相反，每條白色水平線代表相應的直立物體。 該信息可以有效地用於確定對象的寬度。 在獲得邊界框的寬度之后，基於視差值將區域增長[36]應用於聚類組像素的鄰域。 視差值在每個簇的最小和最大視差值之間的像素被認為屬於同一對象。 最終的界限移動物體的框顯示在5b-（e）中。
基於V-Disparity Map的聚類減少
在本文中，已經提出了一種從兩個連續立體幀中檢測運動物體的方法。通過用於獲得每個像素的運動似然的一階誤差傳播模型來估計自我運動不確定性。具有高運動可能性和類似深度的像素被檢測為基於圖形切割運動分割方法的移動。另外，基於分割結果，可以快速識別移動物體。幾個不同的真實視頻序列中的檢測結果表明，我們提出的算法在全局（相機運動）和局部（光流）噪聲方面是穩健的。此外，我們的方法適用於所有圖像像素，並且可以檢測任意移動的對象（包括部分遮擋）。如果沒有任何跟蹤策略，我們的檢測方法可以提供高召回率，並且在幾個公共序列中也表現出可接受的精確率。然而，所提出的方法的計算復雜性是一個重要的問題。這主要是由於計算每個圖像像素的運動似然和使用圖切算法的分割。基於GPU的算法可用於克服這一弱點[42]。此外，MOD的性能高度依賴於密集光流和視差圖的結果。然而，他們在復雜動態環境（包括其他移動物體）中的估計通常變得非常困難。
有興趣的小伙伴可以關注微信公眾號，加入QQ或者微信群，和大家一起交流分享吧（該群主要是與點雲三維視覺相關的交流分享群，歡迎大家加入並分享）
