Camera ISP技術
ISP圖像信號處理
1，ISP圖像信號處理介紹
2，ISP的目的是什么？
3， ISP的處理流程以及算法
3.1鏡頭的幾何變形
3.2 鏡頭漸暈
3.3 曝光控制：曝光不足
3.4 Optical Black Clamping
3.5 Image Compression
4 ISP的內部組成
5 ，IC ISP架構
5.1 NuCORE Sip1270 DBE
5.2 TI TMS320DM270
5.3 DM270 CCD
1.ISP圖像信號處理介紹
ISP(Image Signal Processing) 圖像信號處理。主要用來對前端圖像傳感器輸出信號處理的單元，以匹配不同廠商的圖象傳感器。相機用圖像處理器ISP（Image Signal Processor）。被管道化的圖像處理專用引擎可以高速處理圖像信號。也搭載了為了實現Auto Exposure / Auto Focus / Auto White Balance評測的專用電路。另外，THine開發的減噪等圖像處理模塊，能令各個CMOS傳感器實現最高畫質。
2. ISP的目的是什么？
像素對某些波長組之間的光很敏感，本質上是顏色不可知的。獲取彩色圖像的方法是在頂部放置一個濾鏡（通常是拜耳圖案濾色鏡），然后對相鄰像素的顏色進行插值。8 MP CMOS不會為每個像素感應紅色，綠色和藍色，而是為每個像素感應一種顏色，然后ISP根據旁邊的顏色猜測顏色。這就是所謂的去馬賽克，可能是ISP的主要工作，並且有許多秘密的調味方法來計算此插值圖像。此外，ISP還負責其他所有內部管理工作，可以控制相機系統的自動對焦，曝光和白平衡。最近添加了對不完善的鏡頭系統（例如，在instagram中添加的不完美鏡頭系統所賦予的漸暈或色差）等鏡頭缺陷的校正，以及HDR重組，降噪，其他濾鏡，臉部校正或臉部校正等功能。對象檢測以及色彩空間之間的轉換。ISP的功能之間存在差異，但這實際上是將拜耳數據獲取到可行的圖像陣列中的控制器。
3.ISP的處理流程以及算法
如下所示是一個典型的數字相機 Pipeline處理流程：
ISP處理算法大致包括：
Bayer、黑電平補償 （black level compensation）、鏡頭矯正（lens shading correction）、壞像素矯正（bad pixel correction）、顏色插值 （demosaic）、Bayer 噪聲去除、 白平衡（AWB） 矯正、 色彩矯正（color correction）、gamma 矯正、色彩空間轉換（RGB 轉換為 YUV）、在YUV 色彩空間上彩噪去除與邊緣加強、色彩與對比度加強，中間還要進行自動曝光控制，圖像壓縮等。
3.1鏡頭的幾何變形
3.2 鏡頭漸暈
3.3 曝光控制：曝光不足
3.4 Optical Black Clamping
3.5 Image Compression
4. ISP的內部組成
如下圖所示，ISP內部包含 CPU、SUP IP、IF 等設備，事實上，可以認為 ISP 是一個 SOC（system of chip），可以運行各種算法程序，實時處理圖像信號。
CPU：CPU 即中央處理器，可以運行 AF、LSC 等各種圖像處理算法，控制外圍設備。現代的 ISP 內部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。
SUB IP：SUB IP 是各種功能模塊的通稱，對圖像進行各自專業的處理。常見的 SUB IP 如 DIS、CSC、VRA 等。
圖像傳輸接口：圖像傳輸接口主要分兩種，並口 ITU 和串口 CSI。CSI 是 MIPI CSI 的簡稱，鑒於 MIPI CSI 的諸多優點，在手機相機領域，已經廣泛使用 MIPI-CSI 接口傳輸圖像數據和各種自定義數據。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 兩個接口。內置 ISP 一般只需要 MIPI-CSIS 接口。
通用外圍設備：通用外圍設備指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用於讀取 OTP 信息，控制 VCM 等。對於外置 ISP，ISP 本身還是 I2C 從設備。AP 可以通過 I2C 控制 ISP 的工作模式，獲取其工作狀態等。
5.IC ISP架構
5.1 NuCORE Sip1270 DBE
5.2 TI TMS320DM270
5.3 DM270 CCD
參考鏈接：
https://cloud.tencent.com/developer/article/1816477