關鍵詞：影像畸變 徑向畸變 切向畸變 畸變模型 作者：李二 日期：28/03/2020 - 01/04/2020
"本系列均是寫給計算機視覺和攝影測量的初學者和非主流從業人員，比如一些遙感研究生們。"
小孔成像模型的
數學形式是完美的，然而真實的相機成像過程並非嚴格遵從小孔成像模型，這一期我們來看看真實的薄透鏡成像有什么問題，在成像幾何中如何考慮。話不多說，看李二道來。
1. 理想相機成像
理想相機成像即嚴格遵循小孔成像模型：無鏡頭，無畸變
李二再一次來到了**吃飯大學，開始了他的兼職教授的第二次課程。我當然是緊隨其后，以便中午能蹭頓便飯，因為聽說該大學西北餐廳的手抓羊肉一絕呀。
李二開始上課：上回說到，唐王被困淤泥河，薛仁貴前去救駕.... （致敬劉寶瑞先生）
第三排第末列的女孩突然打斷：二先生，你走錯了吧，這不是茶館。
李二恍然大悟：奧奧奧，對對對，昨天晚上睡不着，聽了一夜相聲。好，上節課我們留了個扣子，我說真實相機成像
並非完美地嚴格地遵從小孔成像模型，那么不妨先看看這種理想的小孔成像模型到底理想在什么地方呢。如下圖所示：所謂
理想主要體現在兩個方面：
成像平面與焦平面(即小孔所在平面)嚴格平行； 像點與物點的連線(即光線或)嚴格准直，不存在彎曲； 大家記住理想成像的這兩個
特點，然后我們看看真實相機成像是什么樣的。
2. 真實相機成像的問題 - 畸變
真實相機的幾何構造與理想情況有差異：有鏡頭，有畸變
真實相機因為
制造工藝的原因，它的幾何構造與理想情況有差異，涉及兩個方面：
透鏡與孔徑光闌的相對位置：本質上是 孔徑光闌和鏡片位置的關系決定了畸變。該類畸變的特點是畸變沿着透鏡半徑方向分布，稱為徑向畸變，徑向畸變主要包括桶形畸變 barrel和枕形畸變 pincushion兩種。針孔模型中，一條直線投影到像平面仍是直線。而攝像機的透鏡往往使得真實環境中的直線投影為曲線“curvilinear” 。越靠近圖像邊緣，這種線性越明顯。郵寄實際加工制作的透鏡往往是中心對稱的，這使得不規則的畸變通常徑向對稱。徑向畸變隨着焦距的減小而增加。
相機的組裝工藝中透鏡和成像面不嚴格平行：這一工藝問題造成的畸變，畸變沿切線方向發生變化，稱為 切向畸變。其實，切向畸變又分為薄透鏡畸變和離心畸變等，具體內容就不細講了。
李恆大神告訴我說：搞懂徑向畸變這塊需要幾何光學的基礎知識，我表示沒有學過，也不懂，不過看官們似乎大致知道怎么回事就行了。
我們假設成像平面上的任意一點 ，寫成極坐標的形式為 ，其中 表示點 與坐標系原點之間的距離， 表示與水平軸的夾角。因此：
徑向畸變可以看成坐標點沿着長度方向發生了變化，也就是 距離原點的長度 發生變化；切向畸變可以看成坐標點沿着切線方向發生變化，也就是 水平角 發生變化。
（諸位看官，請仔細理解這幾幅圖的含義）
3. 畸變校正模型
畸變的數學模型與畸變校正公式
李二看大家毫無反應，也不生氣也不着急，慢悠悠說道：我默認大家都理解了啊（這話怎么聽着這么熟悉呢，嘿嘿）。
開始敲重點了其實我們的目的不是為了了解畸變而了解畸變，而是為了了解之后對畸變進行校正，消除畸變的影響。我們上面講解了畸變的類型與產生原理，那么如何對這些
畸變進行建模呢？
研究人員們構建了很多模型，這里呢我們不對模型的推導進行講解(李二說這話時心里有點發虛，因為他自己也不知道這些模型是如何推導而來的)。不妨直接看看一下畸變的數學模型是什么樣子的。
假設無畸變時點
在圖像物理坐標系中的坐標為
，畸變后該點的坐標為
，則二者的畸變數學模型為： ->徑向畸變數學模型<- 呈現多項式關系，一般采用三個參數
，當然視情況而定，如果畸變很小，可以少用一個高階參數。
->切向畸變數學模型<- 具有兩個參數 。
聯合公式(1)和(2)，我們可以通過5個畸變參數校正畸變，也就是找到這個點在像平面的正確位置。
->畸變校正公式<-
李二如同很多老師那般，開啟了典型的問話模式：大家還記得上節課中所講的
總體變換矩陣嗎？
我在下面小聲嘟囔：老師們怎么向來都愛這么問，學生肯定不記得呀，有幾個學生會復習呀。我們學生的記憶時間似乎比魚長那么一點點。
李二似乎聽到了似的，便道：不記得沒關系，我挑個重點說一下。我們由
相機坐標系轉換為圖像物理坐標系的公式是：
由
圖像物理坐標系轉換為圖像像素坐標系的公式是：
(各位看官可以與上一期對照着看，上一講采用矩陣的形式，這里采用代數的形式)
李二突然又敲起重點了：上面的公式(4-5)無疑是正確的，只是稍微有點扭捏。如果咱們的相機內參數( )或者( ) 都放在一個矩陣或者一組公式中多好呀，否則每次變換用到內參數時，都要用以上兩組公式，現在我們不妨把內參數都寫到一組公式中。則有以下形式：
由相機坐標系轉換為 歸一化的 圖像物理坐標系的公式是：
(大家看，這個轉換是不是少了一個比例因子
，也就是說
並不是圖像物理坐標系
中的坐標了，而是一個歸一化產物，量綱是倍數，而不是
了)
由 歸一化的 圖像物理坐標系轉換為圖像像素坐標系的公式是：
（估計各位看官看到這可能都不想看了，可以理解，李二這家伙，廢話太多，似乎生怕學生不理解似的。 冷笑一聲，哼，你再怎么講我TM也不理解啊，算了，行有不得，反求諸人吧，還是李二講的問題。）
李二又在duang duang duang (咋就是打不出Duang這個字！)，理論部分的最重的重點來了：大家且忍耐數分鍾之不關閉本網頁，我下面有一推導，欲使圖像畸而復正，講解幽而復明(改自姜伯約)。
我們已知的是畸變后的圖像ImgD(ud,vd)(就是你們的相機拍照后得到的圖像)，要得到正常的(沒有畸變的)圖像ImgR(u,v)，就要通過畸變模型建立二者之間的映射關系。
假設正常圖像的坐標
，如果能知道其在畸變圖像中的坐標
，就能夠從畸變圖像中
位置處取得像素值DN值，並放在正常圖像的
處，這樣把每個正常圖像的像元坐標都遍歷一遍(注意：此時只是一個空矩陣哦)，就能夠輸出正常圖像了(注意：這時的正常圖像才是肉眼可見的圖像，比如圖像中顯示的是“李二的陽台”)。
開始推導嘍，非常簡單，李二為了讓大家看的更明白，不厭其煩地多寫了些字（其實只要聯立公式(7) (3) (7)即可，但是我們還是再明確一下）： 由公式(7)，我們由正常圖像中的像素坐標 轉換為正常圖像的歸一化圖像物理坐標系中的坐標 ：
由公式(3)，我們將正常圖像的歸一化圖像物理坐標系中的坐標 轉換為畸變圖像中的歸一化圖像物理坐標系中的坐標
繼續由公式(7)，我們將畸變圖像中的歸一化圖像物理坐標系中的坐標 轉換為畸變圖像中的像素坐標 ：
舉個例子，正常圖像的
(5,5)坐標點，經上述推導后，對應的是畸變圖像(5.3,5,4)點，那么就將畸變圖像中(5.3,5,4)點的像素值假設DN=128，賦值在正常圖像的(5,5)坐標點上。由於畸變圖像的像素坐標都是整數，因此需要進行一定的插值處理(如：雙線性內插)。
李二終於松了一口氣，好啦，幽而復明了沒有，我的后主們？
卻不料這次有個愛思考的家伙站起來：二先生，我基本明白了，不過有個問題是：您講的是由正常影像的坐標推出畸變圖像的坐標。為什么不倒過來做呢？也就是由畸變圖像的坐標推導至正常圖像的坐標，這樣思路不是更直接嗎？
李二很高興：這是個好問題！不這樣做的原因是：雖然思路更直接，但是操作有點費勁。因為如果反過來，公式(3)就需要改寫，畸變參數就不一樣了，而通過 標定方法確定畸變參數時得到的是公式(3)中的參數。如果非得反過來，也不是不行，就是相當費勁而已。
正好下課鈴響了，李二說：就講到這吧，內容太多也不太好。
我高興異常，暗自道：手抓羊肉的干活去（寫着寫着哈喇子就留下來了，哪位看官要是過意不去，聯系請我吃飯哦，哈哈）
4. 后記
本人有點小傷心，因為把前幾篇短文拿給一所謂正經師兄(嘻嘻)去看時，得到了看完第一篇就不想繼續看了的’高度評價‘。無妨，要聽的進不同意見，不過猜測他本身的農學背景對於這一計算機視覺知識似乎並不感冒。
本人又有些高興，經過多方探索，終於准備將這些隨筆短文或技術文檔放在干凈的博客園中了(2020.03.31)。然在博客園中，魚與熊掌不可兼得，為保證markdown格式更為優美，我用了專門的格式工具，但是卻把公式轉換為圖片，且轉換的不好；若想保持latex公式優美，直接用博客園的MD編輯器造成其他格式又不好看。難啊！
昨天將第一篇博客發到朋友圈中，意外得到很多看官的贊揚。寫這種科普知識不累嗎？李二性喜分享，分享優異，不畏勞也。
其實寫這些東西還是挺不容易的，因為需要保證自己講所有的知識點完全理解，保證別給諸位看官們造成錯誤信息，我導師說過的一句話，一直言猶在耳老師的基本素質之一是：別誤人子弟。再次拜謝諸位看官。