ISP 是Image Signal Processor 的簡稱,也就是圖像信號處理器。而DSP是Digital Signal Processor 的縮寫,也就是數字信號處理器。
ISP一般用來處理Image Sensor(圖像傳感器)的輸出數據,如做AEC(自動曝光控制)、AGC(自動增益控制)、AWB(自動白平衡)、色彩校正、Lens Shading、Gamma 校正、祛除壞點、Auto Black Level、Auto White Level 等等功能的處理。
而DSP功能就比較多了,它可以做些拍照以及回顯(JPEG的編解碼)、錄像以及回放(Video 的編解碼)、H.264的編解碼、還有很多其他方面的處理,總之是處理數字信號了。個人認為ISP是一類特殊的處理圖像信號的DSP。
圖像傳感器
圖像傳感器是組成數字攝像機的重要組成部分。根據元件的不同,可分為CCD和CMOS兩大類。如SONY的 ICX 445、ICX274、IMX035/036,Aptina的MT9M033、MT9D131、MT9T031,Omnivison的OV2715等等。圖像傳感器的作用是將光學圖像采集並轉換成后端ISP可用的電信號。
過去,我們常說CCD是應用在影像產品的高端技術元器件,而CMOS由於其低照性能、曝光模式等技術性能有限應用於低影像品質產品中。如今,CMOS技術快速發展,例如SONY推出了使用Exmor技術的IMX035/036圖像傳感器,其低照性能、圖像分辨率及幀率、芯片處理速度有了很大程度的性能提升。
ISP圖像信號處理器
ISP(Image Signal Processor)圖像信號處理器的主要作用是對前端圖像傳感器輸出的信號做后期的處理。不同的ISP用來匹配不同廠商的圖像傳感器。ISP的優異在整個攝像機產品中很重要,應當說它直接影響呈現給用戶的影響畫質的優劣。圖像經過圖像經過CCD或者CMOS的采集后,需要經過后期的處理才可以較好的適應不同的環境,在不同的光學條件下都能較好的還原出現場細節。在ISP中它會完成我們常常提及的2A(AWB/AE,自動白平衡/自動曝光)或者3A(AWB/AE/AF,自動白平衡/自動曝光/自動聚焦)。傳統模式下一般采用一顆DSP或者一顆FPGA來完成對圖像的后期處理。有些攝像機產品支持的3D降噪功能、寬動態、慢快門、幀累積、強光抑制等功能也都是ISP來完成的。
目前應用在高清攝像機產品中的ISP一般有以下幾個來源:
廠商自行研發:高清攝像機設備廠商為了更好的配合后端壓縮、功能開發,自行研發ISP處理算法,將算法集成至FPGA或DSP芯片中,接駁前端圖像傳感器。
第三方研發:2010年已經逐漸誕生了一批由非高清攝像機制造廠商推出的一些ISP解決方案,他們直接出售不同的ISP芯片給攝像機廠商配合不同廠商的Sensor。
套片模式:由Sensor廠商將自主開發的ISP結合自家Sensor形成圖像采集處理解決方案推向客戶,其中的圖像處理算法及各種調試工作已經完成,攝像機廠商只需要做接口對接並后端壓縮或轉換成數字視頻(HD-SDI)即可。這種模式我們稱為Stand-Alone Devices或者Camera System Onchip。
壓縮處理器或數字視頻轉換
首先我們來了解壓縮處理和數字視頻轉換的概念。ISP將前端圖像傳感器信號處理后,一般會以MPTE296M/BT.1120/ YUV 4:2:2等數字接口格式傳輸到后端處理芯片中。壓縮處理器(SoC或DSP)可以將視頻信號以H.264/MPEG-4/MJPEG算法進行編碼壓縮,然后通過內建的網絡服務以TCP/IP協議的網絡信號進行傳輸給用戶。數字視頻轉換則是非壓縮方式,通過數字視頻轉換芯片將ISP輸出的數字信號轉換成SD-SDI/HD-SDI/3G-SDI信號,分別對應標准清晰度(VGA)、高清標准(1080P@30fps)、1080P@60fps甚至更高的分辨率。HD-SDI高清視頻信號需要使用專用的傳輸周邊設備,如SDI光端機、SDI矩陣等等。
低照度指的是當被攝景物的光亮度低到一定程度而使攝像機輸出的視頻信號電平低到某一規定值時的景物光亮度值。測定此參數時,還應特別注明鏡頭的最大相對孔徑。 例如,使用F1. 2的鏡頭,當被景物的光亮度值低到0. 04lx時,攝像機輸出的視頻信號幅值為最大幅值的50%,即達到350mV (標准視頻信號最大幅起來 700mV), 則稱此攝像機的最低照度為0. 04lx/F1. 2。被攝景物的光亮度值再低,攝像要輸出的視頻信號的幅值就達不到350mV了,反映在監視器的屏幕上, 將是一屏很難分辨出層次的、灰暗的圖像