CMOS圖像傳感器內部結構及工作原理
隨着工藝的發展，CMOS圖像傳感器的性能已經趕上或超越CCD，再加上CMOS圖像傳感器在工藝上能很大程度與傳統CMOS芯片兼容，它已經成為相機的主流傳感器類型。由於只能硬件的迅猛發展，很多應用場景都將碰到CMOS傳感器，因此本文從基礎出發，介紹CMOS圖像傳感器的像素結構。
一、圖像傳感器整體架構
CMOS圖像傳感器本質是一塊芯片，主要包括：感光區陣列（Bayer陣列，或叫像素陣列）、時序控制、模擬信號處理以及模數轉換等模塊（如圖1）。其中，各模塊的作用分別為：
像素陣列：完成光電轉換，將光子轉換為電子。
時序控制：控制電信號的讀出、傳遞。
模擬信號處理（ADC）：對信號去噪。（如用CDS去除reset noise、fpn等）
圖1.1 CMOS傳感器示例
其中，像素陣列占整個芯片的面積最大，像素陣列是由一個個像素組成，它對應到我們看到每張圖片中的每個像素。每個像素包括感光區和讀出電路（后面小節會詳細討論），每個像素的信號經由模擬信號處理后，交由ADC進行模數轉換后即可輸出到數字處理模塊。像素陣列的信號讀出如下（參考圖1.2）：
1、 每個像素在進行reset，進行曝光。
2、 行掃描寄存器，一行一行的激活像素陣列中的行選址晶體管。
3、 列掃描寄存器，對於每一行像素，一個個的激活像素的列選址晶體管。
4、 讀出信號，並進行放大。
圖1.2 CMOS傳感器信號讀出示意圖
二、圖像傳感器像素結構
CMOS傳感器上的主要部件是像素陣列，這是其與傳統芯片的主要區別。每個像素的功能是將感受到的光轉換為電信號，通過讀出電路轉為數字化信號，從而完成現實場景數字化的過程。像素陣列中的每個像素結構是一樣的，如圖2.1是典型的前照式像素結構，其主要結構包括：
1、 On-chip-lens:該結構可以理解為在感光元件上覆蓋的一層微透鏡陣列，它用來將光線聚集在像素感光區的開口上。可以增加光電轉化效率，減少相鄰像素之間的光信號串擾。
2、 Color filter：該結構是一個濾光片，包括紅/綠/藍三種，分別只能透過紅色、綠色、藍色對應波長的光線。該濾光片結構的存在，使得每個像素只能感應一種顏色，另外的兩種顏色分量需要通過相鄰像素插值得到，即demosaic算法。
3、 Metal wiring：可以為金屬排線，用於讀出感光區的信號（其實就是像素內部的讀出電路）。
4、 Photodiode：即光電信號轉換器，其轉換出的電信號會經過金屬排線讀出。
圖2.1 像素結構
其中，Photodiode和Metal wiring對CMOS傳感器的性能影響最大（比如光電轉換效率，讀出噪聲等），也是目前主流傳感器廠商注重提高的工藝。為了方便敘述，下面將Photodiode和Metal wiring簡稱為Pixel（即包括每個像素內的感光區域和讀出電路）。
Passive Pixel
最簡單的Pixel結構只有一個PN結作為photodiode感光，以及一個與它相連的reset晶體管作為一個開關（如圖2.2）。它的工作方式如下：
1、 在開始曝光之前，該像素的行選擇地址會上電（圖中未畫出），從而RS會激活，連通PN結與column bus。同時列選擇器會上電，此時PN結會被加載高反向電壓（例如3.3 V）。在Reset（即PN結內電子空穴對達到平衡）完成后，RS將會被停止激活，停止PN結與column bus的連通。
2、 在曝光時間內，PN結內的硅在吸收光線后，會產生電子-空穴對。由於PN結內電場的影響，電子-空穴對會分成兩個電荷載體，電子會流向PN結的n+端，空穴會流向PN結的p-substrate。因此，經過曝光后的的PN結，其反向電壓會降低。
3、 在曝光結束后，RS會被再次激活，讀出電路會測量PN結內的電壓，該電壓與原反向電壓之間的差，就是PN結接受到的光信號。（在主流sensor設計中，電壓差與光強成正比關系）在讀出感光信號后，會對PN結進行再次reset，准備下次曝光。
圖2.2 像素結構
這種像素結構，其讀出電路完全位於像素外面，稱為Passive Pixel。Passive Pixel的讀出電路簡單，整個Pixel的面積可以大部分用於構造PN結，所以其滿阱電容一般會高於其他結構。但是，由於其信號的讀出電路位於Pixel外面，它受到電路噪聲的影響比Active Pixel（下一節會介紹）大。Passivel Pixel噪聲較大有2個主要原因：
1、 相對讀出電路上的寄生電容，PN結的電容相對較小。代表其信號的電壓差相對較小，這導致其對電路噪聲很敏感。
2、 如圖2.3(b)，PN結的信號，先經過讀出電路，才進行放大。這種情況，注入到讀出信號的噪聲會隨着信號一起放大。
圖2.3 Active Pixel和Passive Pixel噪聲注入對比
Active Pixel
Active Pixel指的是在像素內部有信號讀出電路和放大電路的像素結構。如圖2.3(a)，信號傳出Pixel之前，就已經讀出並放大，這減少了讀出信號對噪聲的敏感性。隨着工藝的發展，基於Active Pixel的CMOS傳感器在暗電流和噪聲表現上有很大提升，Active Pixel結構隨之成為了CMOS傳感器的主流設計。
圖2.4展示了基於PN結的Active Pixel結構，也成為3T像素結構（每個像素包含3個三極管）。在這種結構中，每個像素包含一個PN結作為感光元件，一個復位三極管RST，一個行選擇器RS，以及一個信號放大器SF。其工作方式和Passive Pixel類似：
1、 復位。給PN結加載反向電壓，或者說激活RST給PN結進行復位。復位完成后，不再導通RST。
2、 曝光。和在Passive Pixel中一樣，光子打到PN結及硅基，被吸收后產生電子-空穴對。這些電子空穴對通過電場移動后，減小PN結上的反向電壓。
3、 讀出。在曝光完成后，RS會被激活，PN結中的信號經過運放SF放大后，讀出到column bus。
4、 循環。讀出信號后，重新復位，曝光，讀出，不斷的輸出圖像信號。
圖2.4 PN結像素結構
基於PN結的Active Pixel流行與90年代中期，它解決了很多噪聲問題。但是由PN結復位引入的kTC噪聲，並沒有得到解決。為了解決復位kTC噪聲，減小暗電流，引入了基於PPD結構（Pinned Photodiode Pixel）的像素結構。PPD pixel包括一個PPD的感光區，以及4個晶體管，所以也稱為4T像素結構（如圖2.5）。PPD的出現，是CMOS性能的巨大突破，它允許相關雙采樣（CDS）電路的引入，消除了復位引入的kTC噪聲，運放器引入的1/f噪聲和offset噪聲。
圖2.5 PPD像素結構
對比圖2.4和2.5，發現示意圖右邊的結構基本一致。但他們的功能有明顯差異，對於PPD，右邊部分電路只是信號讀出電路。讀出電路與光電轉換結構通過TX完全隔開，這樣可以將光感區的設計和讀出電路完全隔離開，有利於各種信號處理電路的引入（如CDS，DDS等）。另外，PPD感光區的設計采用的是p-n-p結構，減小了暗電流。PPD像素的工作方式如下：
1、 曝光。光照射產生的電子-空穴對會因PPD電場的存在而分開，電子移向n區，空穴移向p區。
2、 復位。在曝光結束時，激活RST，將讀出區（n+區）復位到高電平。
3、 復位電平讀出。復位完成后，讀出復位電平，其中包含運放的offset噪聲，1/f噪聲以及復位引入的kTC噪聲，將讀出的信號存儲在第一個電容中。
4、 電荷轉移。激活TX，將電荷從感光區完全轉移到n+區用於讀出，這里的機制類似於CCD中的電荷轉移。
5、 信號電平讀出。接下來，將n+區的電壓信號讀出到第二個電容。這里的信號包括：光電轉換產生的信號，運放產生的offset，1/f噪聲以及復位引入的kTC噪聲
6、 信號輸出。將存儲在兩個電容中的信號相減（如采用CDS，即可消除Pixel中的主要噪聲），得到的信號在經過模擬放大，然后經過ADC采樣，即可進行數字化信號輸出。
由於PPD像素結構在暗電流和噪聲方面的優異表現，近年來市面上的CMOS傳感器都是以PPD結構為主。但是，PPD結構有4個晶體管，有的設計甚至有5個，這大大降低了像素的填充因子（即感光區占整個像素面積的比值），這會影響傳感器的光電轉換效率，進而影響傳感器的噪聲表現。
在PPD結構中，像素的感光區和讀出電路由TX晶體管隔開，相鄰像素減可以共用讀出電路（如圖2.6）。圖2.6所示的2x2像素共享讀出電路，一共有7個晶體管，平均一個像素1.75個晶體管。這樣可以大大減少每個像素中讀出電路占用的面積，可以提高填充因子，這樣可以使得像素面積更小（比如1微米）。然而，由於這2x2個像素的結構不再一致，會導致固定模式噪聲的出現（FPN），這需要在后續圖像處理中消除。
圖2.6 共享讀出電路的PPD像素結構
三、CMOS sensor內部結構及平面構造（floorplan）
光電二極管具有正向導通反向截止的特殊，反向的特性還有個電容的特性，當在二極管上加反向偏置電壓時，就會給電容充電，當電容充滿電荷之后，光子的射入會導致內部激發出新的電子 空穴對，與原來充電形成的電子空穴對進行配對放電，形成光電流I_ph，光電流I_ph給右側的電容充電變成一個電壓輸出
四、光子（Photon）與量子效率(quantum efficiency)
自然界中有不同頻率的光線，如果我們簡單來說分成RGB三種頻率的光線，由於RGB的頻率不同，所載有的能量也是不同的，以藍光子為例，所載有的能量為4.41E-19焦耳，單個光子的能量E=hc/普朗克常量，那么一束光子的能量就等於所有光子能量的總和Total_Power=sum_of(all photons)。量子效率QE定義為，在一個camera sensor里面，經過color filter透射過來的光子轉變成電荷的的效率，如果透射過來三個光子，產生出來一個電子空穴對，那么這個效率就是1/3.
QE是衡量某個顏色通道某個頻率/波長的光子轉換成電子的效率，在不同的波長上QE是不一樣的。
camera sensor可以感受近紅外的波段，這個不符合人眼視覺的感受的，需要用IR cut把近紅外的波段去除掉，否則紅色通道感光就會過強，這樣出來的圖像就會偏紅。像素不能夠被一個顏色的光激發的現在叫crosstalk，理想情況crosstalk為0。
sensitivity感光度：同樣的光子能夠激發出的電荷
sensitivity=QE*pixel_size QE越高激發出來的電荷越多，pixel_size越大激發出來的電荷越多
五、感光過程、讀取過程及動態范圍
