視覺SLAM精度評估：ATE與RPE

RMS與RMSE

• RMS與RMSE的計算方式相同，前者為均方根，后者為均方根誤差

RMS

RMS的含義是Root Mean Square，即均方根。英文釋義為“The square of the average of squares of a set of numbers”
計算公式為：

\[x_{rms}=\sqrt{\frac{1}{N}\sum_{i=1}^{n}{x_i^2}}=\sqrt{\frac{x_1^2+x_2^2+\cdots+x_n^2}{N}} \]

RMSE

RMSE的含義是Root Mean Square Deviation / Root Mean Square Error(RMSD / RMSE，均方根誤差)是一種常用的測量數值之間差異的量度，其數值常為模型預測的量或者被觀察到的估計量。均方根誤差代表預測值和觀察值之差的樣本標准差，當這些差值是以資料樣本來估計時，它們通常被稱為殘差；當這些差值不以樣本來計算時，通常被稱為預測誤差。均方根誤差主要用來聚集預測里頭誤差的大小，通常是在不同的時間之下，以一個量值來表現其預測的能力。

\[RMSD(\hat{\theta})=\sqrt{MSE(\hat{\theta})}=\sqrt{E(\hat{\theta}-\theta)^2} \]

對一個無偏估計量來說，均方根誤差是方差的平方根，也就是我們所稱的標准差。
均方根誤差的預測值\(\hat{y}_t\)對時間t的回歸應變項（自變量和因變量）\(y_t\)是以n個不同的預測來作為其均方差的平方根

\[RMSD=\sqrt{\frac{\sum_{t=1}^{n}(\hat{y}_t-y_t)^2}{n}} \]

在某些情況下，均方根誤差被用來比較兩個物品之間的不同（可能沒有任何一個物品被視為“標准”）。例如，當我們在測量兩個時間序列\(x_{1,t}\)和\(x_{2,t}\)時，均方根誤差的式子會變成

\[RMSD=\sqrt{\frac{\sum_{t=1}^{n}(x_{1,t}-x_{2,t})^2}{n}} \]

TUM RGBD關於RPE與ATE的介紹

• RPE：相對軌跡誤差; Relative pose error
• ATE：絕對軌跡誤差; Absolute trajectory error
• RPE非常適合測量視覺里程計系統的漂移，例如每秒漂移
• ATE非常適合測量視覺SLAM系統的性能

相對位姿誤差（RPE）

相對位姿誤差主要描述的是相隔固定時間間隔\(\triangle\)內的局部精度。因此，相對位姿誤差對應於軌跡的漂移，這對於評估視覺里程計系統特別有用。我們將第i幀的RPE定義如下

\[E_i:=(Q_i^{-1}Q_{i+\triangle})^{-1}{P_i^{-1}P_{i+\triangle}} \]

從n個相機位姿的序列中，我們以這種方式獲得\(m=n-\triangle\)沿序列的個體相對位姿誤差。根據這些誤差，我們建議計算平移分量所有時間指標的均方根誤差(RMSE)為

\[RMSE(\bold{E}_{1:n}, \triangle):=(\frac{1}{m}\sum_{i=1}^{m}\|trans(\bold{E}_i)\|^2)^{1/2} \]

其中\(trans(\bold{E}_i)\)是指相對位姿誤差\(\bold{E}_i\)的平移分量。應該注意的是，一些研究人員更喜歡評估平均誤差，而不是對異常值影響較小的均方根誤差。或者，也可以計算中位數而不是平均值，這對異常值的影響更小。如果需要，還可以評估旋轉誤差，但通常我們發現通過平移誤差進行比較就足夠了（因為旋轉誤差在相機移動時顯示為平移誤差）。
此外，需要選擇時間參數\(\triangle\)。對於匹配連續幀的視覺里程計系統，\(\triangle=1\)是一個直觀的選擇；\(RMSE(\bold{E}_{1:n})\)給出每幀的漂移。對於使用不止一個前一幀的系統，較大的\(\triangle\)值也可能是合適的，例如：\(\triangle=30\)給出了以30Hz記錄的序列每秒的漂移。應該注意的是，一個常見(但很差)的選擇是設置\(\triangle=n\)，這意味着直接將起點與終點進行比較。該指標可能會產生誤導，因為它在軌跡開始時對旋轉誤差的懲罰比在結束時更多。因此，對於SLAM系統的評估，對所有可能的時間間隔\(\triangle\)進行平均計算是有意義的，即計算

\[RMSE(\bold{E}_{1:n}):=\frac{1}{n}\sum_{\triangle=1}^{n}RMSE(\bold{E}_{1:n}, \triangle) \]

請注意，該表達式的計算復雜度是軌跡長度的二次方。因此，我們建議通過從固定數量的相對姿勢樣本中計算來近似它。我們的自動評估腳本允許對給定數量的樣本進行精確評估和近似。

絕對軌跡誤差（ATE）

對於視覺SLAM系統，估計軌跡的全局一致性是一個重要的度量。全局一致性可以通過比較估計軌跡和地面真實軌跡之間的絕對距離來評估。由於兩個軌跡都可以由任意坐標系指定，它們首先需要對齊。這可以使用Horn的方法以封閉形式實現，該方法找到與將估計軌跡\(\bold{P}_{1:n}\)映射到地面真實軌跡\(\bold{Q}_{1:n}\)的最小二乘解相對應的剛體變換\(S\)，給定這種變換后，時間戳\(i\)處的絕對軌跡誤差可以被計算為

\[\bold{F}_i:=\bold{Q}_{i}^{-1}\bold{S}\bold{P}_i \]

與相對位姿誤差類似，我們建議在平移分量的所有時間索引上評估均方根誤差

\[RMSE(\bold{F}_{1:n}):=(\frac{1}{n}\sum_{i=1}^{n}\|trans(\bold{F}_i)\|^2)^{1/2} \]

RPE與ATE

RPE考慮平移和旋轉誤差，而ATE只考慮平移誤差。因此，RPE總是略大於ATE（如果沒有旋轉誤差，則等於）。因此，RPE度量提供了一種將旋轉誤差和平移誤差組合成單一度量的優雅方法。然而，旋轉誤差通常也表現為錯誤的平移，因此也間接地被ATE捕獲。從實用的角度來看，ATE具有直觀的可視化，便於目視檢查。然而，這兩個指標是密切相關的：在我們所有的實驗中，我們從未遇到過使用RPE和ATE的情況之間的實質性差異。事實上，通常相對順序保持不變，與實際使用的度量無關。