推薦:
計算成像資料筆記 -https://www.cnblogs.com/wxl845235800/p/9040753.html
摘要:
所謂“計算”,就是將成像系統與后置的特征提取計算步驟看成一個整體,設計一種新型的成像系統一一 “計算成像”,使得成像系統的目的不再是滿足人們的視覺要求而是提供滿足智能應用所必須的魯棒和智能功能,實現“從3D到信息”的跨越。本文主要對計算成像的最新進展和應用進行論述。
關鍵詞:計算成像、最新進展、應用
1. 緒論
在許多情況下,傳感器設計的最終目標不再是為了得到一個高分辨率的圖像信號,而是僅收集圖像理解算法需要收集的信息,以利於機器自動抽取需要的信息,實現“從3D到信息”的跨越。這樣就可以在很大程度上回避目前出現的所謂數字媒體“存不起、查不准和管不住”的突出問題。這種將成像與后置的特征提取計算相結合的思想,就是所謂的“計算成像”。“計算成像”思想的提出,可以在很大程度上節約資源,更加符合節約型社會的要求。
近年來蓬勃發展起來的計算成像方法,尤其是基於壓縮感知理論的計算成像技術,為多維信息高分辨率成像方法帶來了新的機遇,受到了國內外學者的廣泛關注。
2. 最新進展
高分辨率多維信息獲取技術研究是國家中長期科學和技術發展規划的任務之一。高分辨率探測成像是其中一個重要的研究和探索方向,尤其在航天遙感、醫療診斷、軍事偵查等領域高分辨成像需求迫切。傳統成像方法通過在傳感器像元與場景之間建立一種直接的一一對應關系來獲取圖像,成像效果嚴重依賴傳感器性能(像元密度,靈敏度等),且存在二維傳感器陣列無法實現高分辨多維信息(空間-譜間-時間)快速獲取等問題。
2.1 2013年進展
西安電子科技大學高大化博士針對傳統成像方法分辨率嚴重依賴相機傳感器陣列密度的問題,提出一種基於運動隨機曝光的高分辨率編碼感知計算成像新方法。在編碼感知階段,設計了運動隨機曝光模式,用一個較低分辨相機相對場景運動,在運動的同時通過隨機編碼序列控制快門閃動實現高速曝光,運動結束后完成場景的編碼混疊采樣;在優化反演階段,利用場景的先驗知識,構建相應的稀疏重建模型,重構出高分辨率圖像。該成像方法能夠實現較低分辨率相機的高分辨率成像,有效解決了傳統方法成像分辨率嚴重依賴相機傳感器陣列密度的問題,特別適用於由於成本、功耗、體積、重量、存儲與傳輸等限制而無法使用高性能傳感器的場合,如星載對地觀測遙感成像。
針對傳統Demosaicking(去馬賽克)方法存在重建效果不理想、拉鏈虛假色現象嚴重等問題,從編碼感知計算成像的角度重新審視彩色圖像Demosaicking過程,提出了一種基於圖像稀疏模型和自適應PCA(PrincipalComponent Analysis)的Demosaicking方法。該方法通過彩色圖像成像模型和光譜特征來描述各顏色分量間稀疏性,通過自適應PCA來挖掘空間維稀疏性,並將二者結合,建立了1-范數最小優化正則模型,並設計了優化求解算法。該方法能提高重建全彩色圖像的抗噪能力,結果優於大多數現有Demosaicking算法,實際成像結果也顯示出了更好的視覺效果。
針對星載(機載)遙感推掃式光譜成像中空間分辨率和光譜分辨率受制於傳感器陣列點陣密度的問題,及空間分辨率和光譜分辨率難以兼得的問題,根據編碼感知計算成像框架,提出了一種基於高速快門閃動的高分辨率遙感光譜計算成像新方法。該方法在不改變相機結構和傳感器密度的條件下,通過控制高速快門閃動來進行隨機編碼曝光,產生混疊效應,實現多個像素點與一個傳感器像元對應,將豐富的場景信息壓縮采樣到少量的觀測數據中。最后利用優化反演方法對混疊采樣信號進行處理,重構出高分辨率圖像。該方法無需提高傳感器陣列密度,只需控制電子快門曝光和數據處理,就可以做到在保持較高光譜分辨率的前提下,較大提升光譜圖像的空間分辨率。
針對上由於快門閃動遮擋一部分光線,從而減少了曝光時間,導致信噪比下降及部分場景信息丟失的問題,設計了另一種隨機編碼曝光方式,提出了基於反射角高速切換的編碼曝光方法。該方法采用一個高速轉鏡將入射光分為兩路,同時進行互補隨機編碼曝光調制,這樣場景中所有像素全部參與了混疊,保留了足夠的信息。最后利用場景稀疏性構建優化反演模型,重構出高分辨率光譜圖像。
中國科學院上海技術物理研究所空間主動光電技術重點實驗室基於壓縮感知理論, 在單點探測計算成像的基礎上, 通過在成像系統后面搭建色散光路, 利用 DMD這一特殊編碼孔徑模板代替傳統狹縫, 實現孔徑的擴展,因此大大改善了“ 狹縫”光譜儀中點對線成像特點中信噪比降低的問題。該方法在不提高傳感器陣列密度, 保持較高的光譜分辨率的前提下, 大幅提升了光譜圖像的空間分辨率。
孫崇尚等人將透鏡系統的比例法則推廣到計算成像領域,證明計算成像的方法可以在更小的相機尺寸時獲得更高的分辨率。在此基礎上研究寬視場高分辨成像。
2.2 2014年進展
中國科學院研究生院(光電技術研究所)余金清針對光場相機成像和計算集成成像兩種典型的微透鏡計算成像方法進行相關研究。結合光場相機的結構特點,分別構建了兩種類型光場相機的成像與重聚焦功能算法。結合幾何光學原理,對計算集成成像的重建方法進行相關研究。結合多基線立體測距方法,利用多幅不同視角的計算集成成像子圖對空間物體進行測距,構建了相關的測距算法。提出了基於計算集成成像目標提取方法,實現了復雜場景中多個目標物體的提取,為復雜場景多目標提取提供了一種新的解決辦法。
蘇州大學孫建超將光學系統與計算機數字圖像處理系統結合在一起進行綜合優化,在傳統光學成像系統中增加光學編碼器件,利用相位編碼技術對光信息直接進行編碼,經探測器采樣后,再通過計算機進行信號重構,獲取高質量的可視圖像。涉及的計算成像方法主要是對光信息進行相位調制,相比振幅調制,相位調制對信號的強度損害較小,探測到的信號信噪比較高,更有利於探測微弱信號。分別針對相干光成像和非相干光成像這兩種情況,討論了兩種相位編碼成像方法,分別是頻譜面相位編碼成像和相位編碼隨機投影成像,利用光學器件實現數據壓縮,實現信號的低分辨率采樣,高分辨率信號復原。主要功能包括:(1)降低采樣數據量;(2)低分辨率信號采樣,高分辨率信號恢復;(3)突破衍射極限成像。
安徽大學康健研究了基於計算成像的識別,在計算成像識別方法的新框架下,研究Gabor小波+局部特征提取+核通用矢量判別(Kernal Discrimination Common Vector, KDCV)+支持向量機(Support Vector Machine, SVM)識別算法在人臉識別、表情識別和性別識別上的應用。給出了一個基於計算成像思想的輪廓監測識別系統,該系統通過紅外激光主動的提取目標的輪廓信息,然后根據輪廓信息進行分類識別,有效的減少了資源的浪費,該系統已經獲得了軟件專利。
2.3 2015年進展
南京理工大學智能計算成像實驗室研發基於智能計算成像的三維定量相位顯微鏡(SCscope)。顯微鏡的研發團隊成員、電光學院研二學生林飛介紹,目前常用的細胞顯微鏡觀測需要對細胞進行染色或標記,或通過外界激發光源對細胞成像進行分析,但這些標記以及長時間的暴光往往對細胞有一定的傷害,甚至導致細胞的死亡,無法獲知細胞真實狀況。而他們的“SCscope”顯微鏡不但不用把活細胞染色,而且可以看到三維立體的細胞,並且任意視角觀察,“可以生成高達2.8億像素的‘全視場、高分辨’圖像,這就好比在一張千人大合影中,可以看清每個人臉上的痣。”“顯微鏡經過400多年的發展,仍然沒有擺脫‘可見即所得’的傳統成像模式,而他們采用‘計算成像’的全新概念,這為顯微鏡的功能與性能帶來了跨越式的提升。”該項目指導老師左超說,該作品還在同一系統中集成了多種專用顯微鏡的成像功能,且可以做到“一鍵切換”,有效促進了顯微鏡的功能多樣化、操作簡便化、成本低廉化。
3. 應用
近年提出的計算成像,因其對器件的性能要求不高、存儲信息量不大,且操作方便成本低廉等優點,正在被越來越多的應用到航天遙感、醫療診斷、軍事偵查及移動成像等領域。
2014年,作為領先的手機和數碼相機計算機成像技術方案供應商,FotoNation有限公司宣布魅族的新款MX4 & MX4 pro手機平台中使用FotoNation計算機成像技術。通過運用FotoNation開創性全套成像架構和功能,MX4 & MX4 Pro通過簡單、直觀的界面使客戶捕獲到動態圖像和視頻。智能手機平台支持FotoNation全景、美顏等新增功能,這都歸功於10年來不斷發展、調整計算成像法。
同年,Magic Leap可穿戴增強現實技術所描述的顯示器能夠創造出我們從周圍的真實物體吸收的那種3D光線形態(名為“光場”)。據維茲斯坦和其他的研究人員解釋,這可讓你的眼睛跟在現實世界中那樣聚焦於人工3D場景的深度,從而帶來一種要逼真得多的虛擬物體跟現實世界相融合的幻象。7月的商標申請文件顯示,Magic Leap的技術被描述為“可穿戴計算機硬件,即整合動態光場顯示器的光學顯示系統”。 Magic Leap的另一項專利申請文件稱,可以利用攝像頭、紅外傳感器和超聲波傳感器來感知人周圍的環境,以及識別人的姿態。感測空間深度的攝像頭現在相對便宜,且體積較小。但維茲斯坦認為,Magic Leap很可能需要在可穿戴設備的計算機視覺軟件上作出重大突破,進而足夠了解周圍世界,實現非常豐富的擴增實境體驗。
同年,福特攜手英特爾打造未來車載移動內部成像技術,這項名為“移動內部成像”,或“Mobii”的聯合研發項目,旨在探索通過集成內部攝像機與傳感技術及已生成的車內和周圍數據,使駕駛者與車輛實現更加個性化的無縫連接,創造非凡駕駛體驗。Mobii項目是由英特爾人種學家、人類學家、工程師與福特研發工程師通力合作的結晶,他們利用感知計算技術提供更有趣、直觀的車輛體驗。Mobii項目將研究探討內部攝像機在駕駛者授權等方面的全新用途。面部識別軟件的使用不僅可增強隱私保護,也讓Mobii可識別不同的駕駛者,並根據個人偏好自動調節各項功能。
Project Tango獨特的視頻處理芯片Myrid VPU來自硅谷的初創公司Movidius,該公司一直致力於將PC等級的圖像處理能力帶向移動設備。Movidius的CEO Remi El-Ouazzane認為計算成像(computational imaging)是攝影的第三次變革。第一次是膠卷攝像,第二次是數碼攝像。通過計算成像,相機能夠增加深度識別功能,或者加快自動對焦速度,並讓全景攝像也能有HDR的效果。通過和英偉達K1圖形處理器的搭配使用,Myrid讓Project Tango擁有實時處理3D 圖像的能力。NASA的SPHERE計划也使用了Tango手機作為機器人的處理中樞,而SPHERE的主要功能就集中在對太空艙內環境的判斷,這需要強大的圖像處理能力。日前,在2016年消費類電子產品展覽會(CES) 上,聯想正式宣布聯手谷歌,推出全球首款Project Tango技術驅動的消費類移動設備。這款新型智能手機搭載高通驍龍處理器,將於2016年夏季面世。其獨特之處在於手機屏幕能夠變身具有魔力的窗口,於真實世界上覆蓋數字信息與對象,實現虛擬與現實的融合。目前,聯想、谷歌、高通三方正密切合作優化產品的軟硬件,以確保消費者未來能夠在Project Tango技術支持的產品中獲得最佳用戶體驗。谷歌的Project Tango科技平台,通過采用先進的電腦視覺,深度感應和移動跟蹤技術,繪制出周圍世界的3D 模型,讓用戶能夠通過智能設備探索真實空間。利用專有的軟硬件,設備能夠追蹤用戶的每一個動作,比如前進、后退或側傾。Project Tango技術支持的設備還能識別以前去過的地方,比如用戶的客廳、辦公室或公共場所。與GPS定位不同的是,Project Tango的移動跟蹤技術可以應用於室內,這就意味着用戶能在購物中心里獲得精准的定位與導航,甚至能夠在具備相關信息的情況下,找到商場里的某一款特定商品。通過內置傳感器,Project Tango設備還能捕捉房間的3D影像,給出房間的實際尺寸,為用戶購買家具或裝修提供參考。
4. 參考文獻
[1] 高大化.基於編碼感知的高分辨率計算成像方法研究[D].西安:西安電子科技大學,2013
[2] 馬彥鵬.基於壓縮感知的單點探測計算成像技術研究[J].光學學報,2013-12-10
[3] 余金清.基於微透鏡陣列的計算成像研究[D].北京:中國科學院研究生院,2014
[4] 孫建超.基於相位編碼技術的計算成像方法研究[D].蘇州:蘇州大學,2014
[5] 康健. 從傳統到計算成像的識別研究[D].安徽:安徽大學,2014
[6] 孫德尚. 基於計算成像的寬視場高分辨相機研究進展[J].激光與光電子學進展,2013-03-10
【轉載自】
計算成像最新進展及應用_百度文庫 https://wenku.baidu.com/view/27f37bc65122aaea998fcc22bcd126fff7055d0c.html