Digital Video Stabilization and Rolling Shutter Correction using Gyroscope 論文筆記
@(sinbad)[360sinbad@gmail.com]
基於陀螺儀電子防抖簡介
手機或運動相機由於其輕巧，手持拍攝視頻會產生劇烈的相機抖動；另外目前手機相機大多屬於卷簾門式相機，即每行掃描采用不同時間曝光，隨之帶來類似果凍效果。基於陀螺儀的電子防抖是當前主流的視頻防抖方案，避免了之前純視覺方案對場景特征點要求高、計算復雜度高的缺點，非常適合於自帶陀螺儀和相機的手機平台。
大致畫下論文流程圖
一、了解原理
1.1 相機模型
針孔相機模型如上圖所示，世界坐標系中一點X映射到圖像坐標系中的點x關系為：
\(x=KX\), and \(X=\lambda K^{-1}x\)
其中，\(\lambda\)指尺度因子，\(K\)為相機內參矩陣
為簡化模型，作者假設像素為方形且不考慮光學畸變，設置內參矩陣上對角都為1。
\(K^{-1}=\begin{bmatrix} 1 & 0 & -o_{x} \\ 0 & 1 & -o_{y} \\ 0 & 0 & f\end{bmatrix}\)
1.2 相機運動
假設世界坐標和相機坐標重合（實際上大多情況不會發生，會有一個\(T\)的旋轉），相機運動描述成t時刻自身的旋轉\(R_{t}\)，對於任意場景下的點\(X\)，對應到\(t\)時刻圖像上的點\(x\)
\(x=KR(t)X.\)
旋轉矩陣\(R(t)\)由相機變化角度\(\Delta\theta(t)\)計算得出。采用SLERP(球面插值)獲得平滑的相機方向，同時避免萬向鎖（但作者認為，實際上陀螺儀角度間采樣足夠小因此歐拉角處理跟旋轉四元數效果一樣）。讀取陀螺儀軸角加速度\(\omega(t)\)數值獲得旋轉角度：
\(\Delta\theta(t)=(\omega(t+t_{d})+\omega_{d})* \Delta t \)
\(\omega_{d}\)為陀螺儀的溫漂，\(t_{d}\)陀螺儀與幀間采樣時間撮延時，這兩個數值都需要通過標定得到。
1.3 卷簾快門補償
卷簾快門相機是一種曝光策略，相機是一行一行的曝光形成全幅圖像，曝光時相機旋轉會影響到圖像映射（卷簾快門在平移性抖動時不會嚴重影響圖像映射，因為目標距離鏡頭很遠）。如相機兩邊搖擺效果如下圖。
這時每幀圖像上的點映射關系依賴掃描到該點的時間
\(t(i,y)=t_{i}+t_{s}* y/h\) 其中 \(x=(x,y,1)^{T}\)，\(t_{s}\)是掃描開始到最后一行所用的時長，該值為負值時表示掃描由下往上方式。這也是個需要標定的參數。
1.4 圖像映射
對於兩個不同旋轉方向的相機來看同一個點的關系如下圖。
兩幀圖像平面投影
\(x_{i}=KR(t(i,y_{i}))X , and x_{j}=KR(t(j,y_{j}))X.\)
聯立兩式即可得到兩幀間點的映射關系：
\(x_{j}=KR(t(j,y_{j}))R^{T}(t(i,y_{i}))K^{-1}x_{i}\)
因此，對於兩幀間的每一點我們都可以求得對應映射關系，但這樣計算量太大，為簡化計算，將圖像分成多個網格，每個網格對應一個映射關系式，這樣計算量得到降低，另外有作者驗證，當圖像網格顆粒度達到10個等分以上時，artifacts最小。
二、理論驗證
驗證基於陀螺儀穩像的方式還是跟視覺方法配准結果對比，依次計算幀間的平移跟角度比較是否一致。作者假設：如果序列幀間的旋轉角度小時，旋轉帶來的平移可以近似如下。
\(\dot{x}(t)\approx f* \hat{\omega(t+t_{d})}\)
即x、y方向的平移是近似當前幀旋轉角速度與焦距的乘積（如果是已經gyro與frame時間對齊，即gyro變為30Hz，也可以直接用旋轉角度），而且這個理論也是作者標定參數的基礎：兩條曲線盡量重合一致。
三、落地問題總結
目前項目還進行中，初步歸納下
1、帶OIS的處理方法，原本對於帶OIS的防抖，是應該去除OIS的補償，但試了多次依然抖動厲害，懷疑OIS讀取的數據是相對零態的，不是相對上一幀的平移變化。