ISP算法高水平分析（上）
一．ISP基本框架及算法介紹
ISP是Image Signal Processor的縮寫，全稱是影像處理器。在相機成像的整個環節中，它負責接收感光元件（Sensor）的原始信號數據，可以理解為整個相機拍照、錄像的第一步處理流程，對圖像質量起着非常重要的作用。
ISP的功能比較雜，基本上跟圖像效果有關的它都有份。它內部包含多個圖像算法處理模塊，其中比較有代表性的是：
• 扣暗電流（去掉底電流噪聲）
• 線性化（解決數據非線性問題）
• shading（解決鏡頭帶來的亮度衰減與顏色變化）：可優先開發
• 去壞點（去掉sensor中壞點數據）
• 去噪（去除噪聲）：可優先開發
• demosaic（raw數據轉為RGB數據）
• 3A（自動白平衡，自動對焦，自動曝光）
• gamma（亮度映射曲線，優化局部與整體對比度） ：可優先開發
• 銳化（調整銳度）
• 色彩空間轉換（轉換到不同色彩空間進處理）
• 顏色增強（可選，調整顏色）
• 膚色增強（可選，優化膚色表現）
二．Sensor信號輸出YUV、RGB、RAW DATA、JPEG 4種方式區別
YUV: luma (Y) + chroma (UV) 格式， 一般情況下sensor支持YUV422格式，即數據格式是按Y-U-Y-V次序輸出的。
RGB: 傳統的紅綠藍格式，比如RGB565，其16-bit數據格式為5-bit R + 6-bit G + 5-bit B。G多一位，原因是人眼對綠色比較敏感。
RAW RGB: sensor的每一像素對應一個彩色濾光片，濾光片按Bayer pattern分布。將每一個像素的數據直接輸出，即RAW RGB data。
JPEG: 有些sensor，特別是低分辨率的，其自帶JPEG engine，可以直接輸出壓縮后的jpg格式的數據。
YUV一個像素占2B，如果像素太高在高時鍾下基帶芯片處理不過來，JPEG數據量就要小的多，所以不是YUV對基帶芯片有要求而是基帶芯片對輸出數據速率有要求。
2 RGB565一般用在很低端的基帶芯片上，直接往屏上刷。YUV輸出亮度信號沒有任何損失，而色偏信號人眼並不是特別敏感，RGB565輸出格式是R5G3 G3B5會丟掉很多原始信息，所以YUV圖像質量和穩定性要比RGB565好的多。
3 RAW數據每個像素就1B，數據量要少很多，一般5M以上sensor就只輸出RAW數據以保證比較快的輸出速度，后端掛一個DSP來處理輸出的數據。
三．ISP算法處理流程
四．Denoise-----去除噪聲
使用 cmos sensor 獲取圖像，光照程度和傳感器問題是生成圖像中大量噪聲的主要因素。同時，當信號經過 ADC 時，又會引入其他一些噪聲。這些噪聲會使圖像整體變得模糊，而且丟失很多細節，所以需要對圖像進行去噪處理空間去噪傳統的方法有均值濾波、 高斯濾波等。
但是，一般的高斯濾波在進行采樣時主要考慮了像素間的空間距離關系，並沒有考慮像素值之間的相似程度，因此這樣得到的模糊結果通常是整張圖片一團模糊。所以，一般采用非線性去噪算法，例如雙邊濾波器，在采樣時不僅考慮像素在空間距離上的關系，同時加入了像素間的相似程度考慮，因而可以保持原始圖像的大體分塊，進而保持邊緣。
采用特定的LPF（Low Pass Filter）對圖片進行濾波，濾除圖像的噪聲成分，而Bilateral filtering即雙邊濾波器，它是一種保護邊緣的平滑濾波器，這樣既可以濾除噪聲，edge又可以保留下來。
常見算法分類
空域算法
均值濾波、中值濾波、高斯濾波、雙邊濾波、NLM
變換域算法
頻域：低通濾波、高通濾波、帶通濾波
Wavelet：基於小波系數閾值、基於系數相關性等
DCT(離散余弦)變換等
時域算法
一般為常規算法結合多幀匹配，前景和背景判斷、動靜判決
結合算法
類似BM3D去噪算，空域和Wavelet的結合
六．Demosaic------顏色插值
DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素點上覆蓋着 CFA，光線通過 CFA 后照射到像素上。CFA 由 R、G、B 三種顏色的遮光罩組成，每種遮光罩只允許一種顏色通過，因此每個像素輸出的信號只包含 R、G、B 三者中的一種顏色信息。SENSOR 輸出的這種數據就是 BAYER 數據，即通常所說的 RAW 數據。顯而易見，RAW 數據所反映的顏色信息不是真實的顏色信息。DEMOSAIC 就是通過插值算法將每個像素所代表的真實顏色計算出來。
光線中主要包含三種顏色信息，即R、G、B。但是由於像素只能感應光的亮度，不能感應光的顏色，同時為了減小硬件和資源的消耗，必須要使用一個濾光層，使得每個像素點只能感應到一種顏色的光。目前主要應用的濾光層是bayer GRBG格式。如下圖所示：
七．AF------自動對焦
八．AE------自動曝光
曝光。EXPOSURE 主要影響圖像的明暗程度。ISP 需要實現 AE 功能，通過控制曝光程度，使得圖像亮度適宜。
曝光表（Exposure Meter），也叫測光表。攝影時計量光的強弱並借以控制攝影曝光時間和光圈大小的儀表。內置表設定。
九．AWB------自動白平衡
白平衡。白平衡與色溫相關，用於衡量圖像的色彩真實性和准確性。ISP需要實現 AWB 功能，力求在各種復雜場景下都能精確的還原物體本來的顏色。人類視覺系統具有顏色恆常性的特點，因此人類對事物的觀察可以不受到光源顏色的影響。但是圖像傳感器本身並不具有這種顏色恆常性的特點，因此，其在不同光線下拍攝到的圖像，會受到光源顏色的影響而發生變化。例如在晴朗的天空下拍攝到的圖像可能偏藍，而在燭光下拍攝到的物體顏色會偏紅。因此，為了消除光源顏色對於圖像傳感器成像的影響，自動白平衡功能就是模擬了人類視覺系統的顏色恆常性特點來消除光源顏色對圖像的影響的。
1. 灰度世界算法(Gray World Assumption)
這個算法原理很簡單, 就是根據前面所說的灰度世界理論, 將原始圖像的RGB均值分別調整到R=G=B即可。不完美的地方就是這個算法對顏色不豐富的圖像敏感程度一般, 處理起來效果也就不會很理想, 局限性較大。
2. 標准差加權灰度世界算法(Standard DeviationWeighted Gray World Assumption)
標准差加權灰度世界算法是針對上一個算法的改進, 它的原理是把圖像等分成幾塊, 然后對每個塊利用統計學進行分析, 看里面顏色的豐富程度, 顏色多的就加權, 顏色少得就減少權重, 最后求和得出一個均值。根據這個相對精確的數值來進行RGB數值的修正。
3. 全反射算法(Perfect Reflector Assumpution)
這個是基於前面介紹的全反射理論生成的算法, 理解起來也不難, 它認為中最亮的那個點就一定是白色的, 如果原始圖像中最亮的那個點不是, 那就針對偏離白色的數值進行逆向修正。缺點就是如果圖像色彩復雜或者就是沒有高光點, 它的修正效果就會比較乏力。
