博主最近在搞光場相機方面的研究啦,好了廢話不多說,開始!
1. 一些前言廢話
首先,來一下光場的基本概念,來自百度百科。光場(light field):就是指光在每一個方向通過每一個點的光量。從概念里,你至少可以得到兩點信息:1.光場包含光的方向;2.光場包含一個點的光量。
那光場相機是個什么東西,和我們平常的相機有什么區別呢?
其實光場相機也是一個相機。。好吧有點兒啰嗦。我們知道普通的相機拍照成像,得到的離散的像素點,每一個像素都會有其像素值,那么這個像素值反應的就是光場中某一點的光量,僅此而已,我們不能夠從圖像中得到打到這個像素點位置的光線是從哪個方向來的,所以,普通的相機只能夠得到光場中的光量信息,丟失了方向信息。
而牛逼哄哄的光場相機則不同,不僅能夠記錄光場的光量信息,也能記錄光場中光的方向信息,也就是說它能夠記錄攝像機內部的整個光場!
光場相機長什么模樣,以著名的Lytro公司的光場相機為例, 它們就是下面的模樣,左圖為第一代產品,名為 Lytro F01,(丑爆了)。右圖為第二代產品,名為Lytro Illum (還將就).
當然還有著名的工業級光場相機 RayTrix,德國的企業,就不多說了。
Lytro公司是斯坦福大學的吳義仁(Ren Ng)博士畢業后創辦的公司,是世界上首款消費級別的光場相機,還是挺厲害的。他的博士畢業論文名為《Digital Light Field Photography》獲得了2006年美國計算機協會(ACM)博士論文大獎。(據說現在已經從公司辭職回到學校教學去了。。。)
那光場相機能夠記錄整個光場又能怎么樣呢?好,這就是賣點了,該相機能夠實現先拍照后對焦。你沒看錯,就是這樣,在拍完照了,你想重新對焦到圖像中哪一個位置,就能通過點擊圖像得到該位置清晰的圖片,放兩張Ren Ng論文里《Light field photography with a hand-held plenoptic camera》的圖片,對焦平面由近及遠,是不是蠻神奇的,消費者不用擔心拍到的圖片沒有聚焦到理想的位置,可以通過后期相機內部對光場的處理實現重聚焦作用(refocus)。
2. 少說廢話
如果能夠吊起你的胃口,那說明你還比較感興趣。說重聚焦之前,我們需要先了解一下光場的參數化表征,就是說如何把抽象的光場參數化表示出來。當然,這些不是我研究的,都是一些大牛們做過的事情,想看原論文的可以根據下面提到的作者,年份等去谷歌學術一下。如果想快速掌握就看中文的文獻就夠了,因為研究的同胞們還是很多的,如下,當然Ren Ng的原著期刊論文也必須要看一看:
①周志良. 光場成像技術研究[J]. 博士學位論文. 合肥: 中國科學技術大學, 2012.
②聶雲峰, 相里斌, 周志良. 光場成像技術進展[J]. 中國科學院大學學報, 2011, 28(5): 563-572.
③Ng R, Levoy M, Brédif M, et al. Light field photography with a hand-held plenoptic camera[J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11.
光場概念最早由A.Gershun在1936年提出,用於描述光在三維空間中的輻射傳輸特性。1991年,E.Adelson和J.Bergen根據人眼對外部光線的視覺感知,提出用7維函數來表征空間分布的幾何光線,稱為全光函數(Plenoptic Function) 。如果只考慮光線在自由空間的傳輸,其波長一般不會發生變化,則任一時刻的光線可由5維坐標表示
。更進一步,忽略光線在傳輸過程中的衰減,M.levory和P.Hanraham將5維的全光函數降至4維,提出用兩個相互平行的平面對四維光場進行參數化表示。
如下圖所示, 表示光場的一個采樣,L表示光線的強度,(u, v)和(s, t)分別為光線與兩個平面的交點坐標。在四維坐標空間中,一條光線對應光場的一個采樣點。現實中大部分成像系統中都可以簡化為相互平行的兩個平面,比如傳統成像系統中的鏡頭光瞳面和探測器像面,如果用傳感器像面中的坐標(x,y)表示光線的分布位置,那么鏡頭光瞳面坐標(u,v)就反應了光線的傳輸方向。
圖2 四維光場的參數化表示
傳統成像系統所采集到的光場分布可以用下圖表示,探測器像面上每個點接收來自整個光瞳的光線進行積分,像面(x,y)處的光照度為
其中,(u,v)為鏡頭出瞳面上的坐標。
圖3 傳統成像的光場分布
可見傳統成像系統所探測到的光場只能反應其強度和位置(x,y)之間的關系,而損失了其(u,v)方向的信息。
而光場相機與傳統成像不同,光場成像需要利用二維的探測器像面同時記錄光場的四維信息,即二維位置分布和二維傳輸方向。為了實現四維信息向二維平面的轉換,必須對四維光場進行重采樣和分布。光場相機在傳感器前面放置微透鏡陣列來實現光場的采集,如下圖:
鏡頭、微透鏡陣列、傳感器三者之間位置關系為:微透鏡陣列放置在主鏡頭的焦平面附近,而傳感器放置在微透鏡的焦平面附近。
也是就說光場相機和普通相機不一樣的地方,主要就是在主鏡頭的焦平面附近放置了一個微透鏡陣列,而將傳感器Sensor放在了微透鏡的焦平面附近,通過這樣的關系來記錄四維光場!
那么在光場相機中參數化的光場是怎么表示的呢,為什么加一個微透鏡陣列就能夠記錄光場中光線的方向的?L(u,v,s, t)中的u,v,s,t分別表示什么,又是如何實現重聚焦的?
夜已深,請看下文更新吧!