大話成像視頻教程第一套13~24集筆記

13 MTF與Demosaic

MTF調制傳遞函數

1. Color filter array：色彩濾鏡陣列。
2. Bayer filter：貝爾濾鏡。50%綠，25%紅，25%藍。用了Bayer才要用demosaic。

Bayer相當於采樣，demosaic相當於重建。

CFA

NIR：近紅外

RCCC sensor

采樣定理：采樣頻率要的大於信號最高頻率的2倍。一般要保證5~10倍的采樣頻率。采樣定理又叫奈奎斯特定理。

Aliasing：如果不能滿足采樣定理的信號會重疊。

摩爾紋

Demosaic的步驟：

1. 判斷插值的方向；
2. 在判定的方向上進行插值；
3. 后處理。不是必須的。

基礎點：

1. Green-based demosaicking
2. Edge-based demosaicking
3. 相關性原理

插值方法：Hamilton and Adams原理。色差恆定法。

demosaic很重要，跟denoise差不多。

難點：

1. 摩爾紋
2. noise：放大噪聲。會影響判斷。
3. 模糊
4. false color：偽彩色。

思考題：怎么平衡noise和demosaic？

參考

MTF（調制傳遞函數）_百度百科
https://baike.baidu.com/item/MTF/261610

Optical transfer function - Wikipedia
https://en.wikipedia.org/wiki/Optical_transfer_function

14 色彩空間&色彩重建

三個概念：

1. Color model
2. Color space / color working space
3. Color management：ICC profile

color model

RGB

additive system加性色彩系統

imaging，display，eye

CMYK

subtractive system減性色彩系統

dye，paint，print

RGB和CMYK不是具體的色彩空間。

color space

色彩空間。也是color model，但用准確的量化來描述坐標系，量化范圍，白點數據以及非線性轉換特性。

設備無關：CIE XYZ， CIE LAB

設備相關：sRGB，Adobe RGB

色彩空間基本元素：

1. 參考白點
2. 幾何描述
3. Gamma

顯示器默認sRGB？

ICC profile

成像、打印……

加性色彩重建系統的幾個重要概念

• Color Gamut色域
• Tone Mapping Function
• Color Balance
• Intensity Resolution

好的色彩重建的基本要求basic principles of good color reproduction

1. 正確映射白色和中性色，灰色
2. 控制彩色
3. 正確映射天空、樹葉、膚色
4. 控制contrast和brightness

色彩重建的過程

scene exposure——Optics，filters，and sensor——Correction for offset……

色彩重建的數學表達

• CSC：color space conversion，
• CSM：color space matrix

15 Color Correction Matrix與3D LUT

CCM的目的：將camera rgb色彩空間轉換為sRGB色彩空間。

camera_rgb->XYZ->sRGB

CCM的評價標准：

通過CIE LAB色彩空間來計算color error

CIE LAB（1976），1994，2000

注：

1. awb常用HSV？
2. ……

注意事項：

1. 飽和值處理
2. CCM一般在gamma前面（重要！）

計算方法：
1.
……
4.

附加功能：

1. ccm各patch的權重
2. 可以考慮噪聲等選項；
3. 可以提高或者降低飽和度。

調試CCM的注意事項：

1. 計算ccm時曝光需要正常。
2. ccm會增強彩噪，在高ISO時需要降低ccm的saturation，甚至關閉ccm模塊。
3. gamma變動時

劣勢

3D lut基本原理

16 Gamma與對比度增強

gamma是一種數學變換

gamma矯正：輸入亮度和輸出亮度的非線性變換關系。

scene——sensor——encoding gamma——存儲——display gamma——display

為什么要gamma？

1. 微博理論（JND）：人眼對暗區的變化更加敏感。
2. 存儲、傳輸、顯示圖像的手段是有帶寬限制的。

存儲的時候把更多的bit分配給暗區。

encoder gamma和display gamma一定是相乘為1嗎？不是。

gamma對亮度、色彩的影響：

1. gamma會降低色彩的飽和度（ccm）
2. 不同gamma不同亮度

幾種gamma

• srgb gamma

• P3 display

• REC709

• local contrast

• global contrast

動態gamma校正與contrast

直方圖分析和AE——場景判斷——對比度增強——生成gamma——gamma映射

思考題：

HDR10對於gamma的設計和調試有什么新的需求和變化？

17 Sharpening

銳化

僅次於降噪的一個模塊。很難設計

邊緣變化更陡峭。

信號=低頻+中頻+高頻+噪聲

S=SL+SM+SH+Sn

unsharp masking（USM）

一般算法

• overshoot
• undershoot

filter一般都是高斯濾波器。濾波器決定了最終銳化的頻率，對sharpening影響最大。

難點：

• ring effect。光暈控制
• 噪聲變大
• aliasing的影響。奈奎斯特頻率信號區域增強。增強摩爾紋、鋸齒

要增強中高頻，而不是低頻和奈奎斯特頻率。

sharpen會增加MTF值。

注意事項：

1. 針對不同行業，調節不同的overshoot和undershoot，並保證MTF等達到要求。
2. 盡量不要增強噪聲。
3. 不能引起Nyquist以上的頻率出現artifact。
4. 邊緣盡量平整、均勻。
5. sharpening和focus/MTF等互相影響，需要控制好其他變量。

18 CSC/CSM

• CSC：color space conversion
• CSM：color space matrix

sRGB變成編碼格式

CSM在硬件ISP中的位置

RGB——CSM：3x3+offset——YCbCr——JPEG或video encoder

• Y=亮度信號（黑白、彩色電視）
• UV=色度信號（彩色電視）
• PAL制：YPbPr
• NTSC制：YIQ
• SECAM：YDbDr
• YCbCr
• BT601
• BT709

JPEG標准里的CSM

Conversion to and from RGB

三不管地帶？

19 空域降噪與頻域降噪

spatial denoise

噪聲類型：

1. 高斯噪聲。高斯+possion
2. 椒鹽噪聲。DBC去掉了。
3. FPN。有專門模塊。

空域降噪

加權平均一些相似像素，去得到噪聲更小的像素值。

怎么計算兩個像素的相似性權重。

三類算法：

1. 局部的線性 ：高斯降噪。
2. ……
3. ……

高斯降噪和像素值無關，和距離有關。

雙邊濾波，會抹掉小細節，屬於smooth領域。

非局部算法，根據圖像塊的相似性來計算像素的相似性權重。

頻域降噪

• 傅里葉降噪
• 小波降噪
• DCT降噪

噪聲圖像——頻域變換——……

小波收縮 軟收縮 硬收縮

BM3D，降噪算法，結合了兩種優勢。計算量大。思想好。

20 時域去噪

是普通的空域噪聲，在時間域上會波動。

FIR & IIR filter

FIR，圖像上用的多。計算量少。

IIR，視頻上用的多。

motion detection：檢測當前像素是否移動

motion estimation：求得motion vector

時域降噪核心模塊。

1. 像素值差判斷，單點或block
2. 光流
3. 時域降噪和encoder。ME

motion compsensation運動補償

做得不好：

1. 運動當成不運動，有拖影
2. 把不運動誤判為運動的，導致噪聲消除不干凈

fusion

難點：

1. 平衡拖影和降噪效果
2. 在硬件設計中需要平衡帶寬和片上mem的關系。幀讀入讀出消耗很大。
3. 手機中平衡運動補償和降噪效果。

拖影最難

21 Color Aberrance Correction and Depurple

色散與去紫邊。可能是其他顏色。

安防、全景相機比較多

縱向和橫向色差

成因：不同波長的光線焦距不同，或者鏡頭對不同波長光線放大程度不同。

如何矯正CA

ISP：chromatic abberance correction、depurple

dot chart

標定+矯正

類似distortion

拍攝多張點狀圖——獲取點狀圖每個點的圓心——根據R G B的圓心坐標……

purple finge的其他特定：

1. 出現在邊界等對比度高的地方
2. 顏色基本在一定范圍內

難點：

1. 硬件設計line buffer很大
2. depurple后飽和度降低，會產生artifact
3. 誤檢測

CA與demosaic

思考題：為什么demosaic會使CA變大？

22 ISP的統計信息

典型的ISP pipeline

sensor——BLC——Degamma——NR——LSC——WB——demosaic——CCM——gamma——sharpening——CSM——YUV NR/Sharpening

3A統計信息位置

流行的配置

AE統計信息典型舉例

計算亮度

AWB

ROI，除了魚眼鏡頭

CDAF

很多個格。focus value，luminance

FIR filter，IIR filter

其他

MV

23 自動曝光

AE：auto exposure

不等同於自動亮度控制。

感光度、光圈、快門速度

• sensor analog gain
• sensor digital gain
• ISP digital gain
• exposure time
• integration time：lines

曝光 = ISO x 光圈 x 曝光時間

工業界和學術界對亮度控制界定有區別。

什么是合適的曝光？

• 亮度
• 直方圖

曝光誤差的量化

色卡22，18%中性灰，反射率122，122，121

3種計算方法

• AE target：均值法

曝光誤差=曝光誤差22

18% reflection rate hypothesis failure

白加黑減，背景黑白

• 均值法AE的改進：

AE loop，閉環，自動控制

AE program

EV，shutter，aperture，參數值分配表，策略。增加曝光，晚上加大光圈，白天減慢快門

flickering reduction

50Hz光源，頻閃

24 自動白平衡

AWB

為什么要做白平衡？

在不同光源下白色物體成像在sensor上

• CCT——10000K，艷陽天的陰影下
• 7000K，陰天
• 5000K，大晴天
• 3000K，鎢絲燈
• 2000K，燭光

R G B各不同，需要乘以gain。人眼看R G B等值。

怎么算RGB gain？

手動計算gain

需要找到白嗎？

不需要：

• 灰世界：最簡單。大部分場景合適。
• 完美反射
• color gamut maximization
• ……

要：

• 白點法
• 白塊法
• 灰邊法
• ……

需要校准嗎？

怎么找到白？

• 早期的白點法
• 改進白點法
• 現在普遍應用的加權白點法
• 統計加權白點法

思考題：基於校准白平衡方法與不基於校准的方法優缺點？