相機拍攝物體的大致過程為:物體反射(或照射)的光線經過鏡頭,到達圖像傳感器,圖像傳感器把光信號轉換為電信號,然后模數轉換器件把電荷信號轉換成數字信號,數字信號經過放大電路進入微處理器,數字信號經過ISP運算處理之后傳輸到存儲器中存儲為圖像。 示意圖如下:
1. 圖像傳感器
圖像傳感器是相機的主要組件之一,對成像質量影響很大。
傳感器將從鏡頭上傳導過來的光線轉換為電信號,再通過內部的DA轉換為數字信號。由於傳感器的每個pixel只能感光R光或者B光或者G光,如下圖,因此每個像素此時存貯的是單色的,我們稱之為RAW DATA。要想將每個像素的RAW DATA還原成三基色,就需要信號處理器ISP來處理。
圖像傳感器主要分兩種,CCD(charge-coupled device,電荷耦合器件)和CMOS(complementary meta-oxide semiconductor,互補金屬氧化物半導體)。CCD傳感器成像質量好,圖像明銳通透,細節豐富,色彩還原度好,但是成本較高,耗電功率高。CMOS傳感器成像質量稍差,但耗電功率較低,成本也比DDC低。當今手機中主要還是采用CMOS傳感器。CMOS傳感器中集成了模數轉換器,CCD傳感器沒有集成了模數轉換器。
2. 圖像信號處理器
圖像信號處理器(Image Signal Processing,ISP)的作用就是對圖像傳感器傳輸過來的信號進行運算處理,最終得出經過線性糾正、噪點去除、壞點修補、顏色插值、白平衡校正、曝光校正等處理后的結果。ISP能夠在很大程度上決定相機最終的成像質量。
ISP 的主要功能特性包括[3]:
-
DEMOSAIC
DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素點上覆蓋着 CFA,光線通過 CFA 后照射到像素上。CFA 由 R、G、B 三種顏色的遮光罩組成,每種遮光罩只允許一種顏色通過,因此每個像素輸出的信號只包含 R、G、B 三者中的一種顏色信息。SENSOR 輸出的這種數據就是 BAYER 數據,即通常所說的 RAW 數據。顯而易見,RAW 數據所反映的顏色信息不是真實的顏色信息。DEMOSAIC 就是通過插值算法將將每個像素所代表的真實顏色計算出來。
-
FOCUS
根據光學知識,景物在傳感器上成像最清晰時處於合焦平面上。通過更改 LENS 的位置,使得景物在傳感器上清晰的成像,是 ISP FOCUS 功能所需要完成的任務。FOCUS 分為手動和自動兩種模式。ISP 可以運行 CONTRAST AF、PDAF、LASER AF 等算法實現自動對焦。
-
EXPOSURE
曝光。EXPOSURE 主要影響圖像的明暗程度。ISP 需要實現 AE 功能,通過控制曝光程度,使得圖像亮度適宜。
-
WB
白平衡。白平衡與色溫相關,用於衡量圖像的色彩真實性和准確性。ISP需要實現 AWB 功能,力求在各種復雜場景下都能精確的還原物體本來的顏色。
-
LSC
用於消除圖像周邊和圖片中心的不一致性,包含亮度和色度兩方面。ISP 需要借助 OTP 中的校准數據完成 LSC 功能。
-
GAMMA CORRECTION
伽瑪校正。傳感器對光線的響應和人眼對光線的響應是不同的。伽瑪校正就是使得圖像看起來符合人眼的特性。
-
CROP/RESIZE
圖像剪裁,即改變圖像的尺寸。可用於輸出不同分辨率的圖像。
-
VRA
視覺識別。用於識別特定的景物,例如人臉識別,車牌識別。ISP 通過各種 VRA 算法,准確的識別特定的景物。
-
DRC
動態范圍校正。動態范圍即圖像的明暗區間。DRC 可以使得暗處的景物不至於欠曝,而亮處的景物不至於過曝。ISP 需要支持 DRC 功能。
-
CSC
顏色空間轉換。例如,ISP 會將 RGB 信號轉化為 YUV 信號輸出。
-
IS
圖像穩定。IS 的主要作用是使得圖像不要因為手持時輕微的抖動而模糊不清。IS 有很多種,例如 OIS、DIS、EIS。ISP 可以實現 DIS 和 EIS。
除了上面提到的功能外,ISP還需要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS 等功能。
【參考文獻】
[1] 手機攝像頭的技術結構與原理:http://www.sohu.com/a/229372898_257861
[2] 手機攝像頭的組成結構與工作原理:https://www.cnblogs.com/straybirds/p/7350535.html
[3] 相機系統綜述--ISP:https://blog.csdn.net/xiangz_csdn/article/details/53172741