單應矩陣，基本矩陣，本質矩陣

1.歸一化圖像坐標
2.本質矩陣 essential matrix
2.1 本質矩陣的推導
2.2特點
3.相機內參
4.基本矩陣 fundamental matrix
4.2基本矩陣推導
4.1特點
5.完整模型：空間點到像素坐標
6.單應矩陣 homography matrix

• 參考barfoot 書 p195-

1.歸一化圖像坐標

• 這里相機坐標系為 $F_s$,圖像和坐標為O，這里假設焦距為1；圖像坐標中心早光軸上。

  

• 空間中點P在攝像機坐標系下的三維坐標:

  

• 利用三角近似關系，P點的圖像坐標(齊次坐標);
  同時假設已知圖像坐標，反推會發現只能得到空間坐標的兩個約束關系，或者說Z可以是任意值都滿足約束關系，即深度無法得到；

  

2.本質矩陣 essential matrix

2.1 本質矩陣的推導

• 相機在不同時刻兩幀圖像同時觀察到空間點P，如圖：

  

• P在兩幀上的圖像坐標 $F_a，F_b$滿足幾何約束：

  

• 其中 $E_{ab}$稱為本質矩陣，其參數由運動的pose決定,與相機內參無關;本質矩陣在位姿估計和相機標定上很有用；

  

• 約束關系的證明:

  

2.2特點

• 描述空間中一點在不同幀之間的幾何約束關系
• 注意這里的圖像坐標是空間點在相機平面投影點的齊次坐標（攝像機坐標系下表示）
• 本質矩陣和相機外參有關系，和內參無關

3.相機內參

• 這里采用假設焦距為1，圖像中心在光軸上，圖像像素坐標的原點圖像左上角，像素坐標值單位都是像素(整數小格)；

  

• 像素坐標和歸一化圖像坐標(可以理解為空間點在平面投影幾何坐標的齊次形式)的關系可以描述為:

  

• K為相機內參矩陣， $f_u,f_v$是焦距f的像素坐標， $c_u,c_v$是圖像中心與圖像和光軸交點的偏置（理想情況應該兩點重合）；考慮到實際像素感光元是正方形的，參數應該對應近似相等；

4.基本矩陣 fundamental matrix

4.2基本矩陣推導

• 將圖像歸一化坐標替換為像素點坐標，得到基本矩陣約束（極線約束 epipolar constraint）

  

• 這里的基本矩陣約束稱為極線約束，如下圖，如果兩幀之間的一個點坐標，外參矩陣已知，則空間點在另外一幀的坐標被約束在一條極線上，可以用來縮小圖像匹配點的搜索范圍
• 基本矩陣也可以用來極端內參矩陣

  

4.1特點

• 基本矩陣描述的是不同幀之間同一空間點像素坐標的幾何約束關系,由本質矩陣約束中的歸一化圖像點替換為像素坐標點得到；
• 基本矩陣和相機內參，外參都有關系
• 基本矩陣描述的約束又稱為極線約束

5.完整模型：空間點到像素坐標

• 空間點在相機坐標系的坐標到像素坐標的轉換關系:
  P為齊次坐標到而為坐標的映射矩陣，這個模模型清晰的表示出深度信息的丟失，即無法從像素坐標估計出深度信息。

  

6.單應矩陣 homography matrix

• 空間點三維坐標到像素坐標（齊次形式）的轉換：

  

• 如果已知觀察的點在某個平面上，利用平面方程的先驗信息可以估計出深度

  

• 已知相機中心到平面距離 $d_i$和法向量 $n_i$ $，i=a,b$，可以得平面的法線方程

  

• 將空間坐標替換為像素坐標：

  

• 替換掉 $z_i$,得到由像素齊次坐標到空間坐標的轉換

  

• 空間點在前后兩幀坐標系下的三維坐標的約束關系

  

• 帶入第一個公式，得到兩幀之間同一空間點的像素點坐標的約束關系

  

• 將上述公式簡寫為：

  

• 矩陣 $H_{ab}$稱為單應矩陣，其中 $z_a/z_b$用來度量圖像的齊次坐標，可以去掉；所以單應矩陣是pose和平面參數的矩陣；

null