【機器視覺硬件】機器視覺硬件學習筆記2——工業相機

本文記錄機器視覺硬件學習內容，第二部分：工業相機

本文的主要內容為相機的類型、接口類型及主要參數。

1、相機的分類

相機是機器視覺系統的核心部件，廣泛應用於各個領域，尤其是用於生產監控、測量任務和質量控制等。工業數字相機通常比常規的標准數字相機更加堅固耐用。這是因為它們必須能夠應對各種復雜多變的外部影響，如應用於高溫、高濕、粉塵等惡劣環境。工業相機的分類形式有很多，下圖是常見的一些分類方式。下文將詳細介紹幾種常用類型的工業相機。

2、按成像方式分類：面陣相機和線陣相機

剛接觸機器視覺的時候，我想當然的以為面陣相機就是把相機組合排列成面陣，線陣相機就是組合排列成一排，鬧了笑話。

面陣相機與線陣相機的區別在於前者是以面為單位進行圖像采集，可以直接獲得完整的二維圖像信息，后者的以“線”為單位，雖然也是二維圖形，但長度較長，而寬度卻只有幾個像素。這是因為線陣相機的傳感器只有一行感光元素。雖然面陣相機的像元總數較多，但分布到每一行的像素單元卻少於線陣相機，因此面陣相機的分辨率和掃描頻率一般低於線陣相機。

由於線陣相機的感光元素呈現“線”狀，采集到的圖像信息也是線狀，為了采集完整的圖像信息，往往需要配合掃描運動。如采集勻速直線運動金屬、纖維等材料的圖像。線陣圖像傳感器以CCD為主，市場上曾經也出現過一些線陣CMOS圖像傳感器，但是，線陣CCD仍是主流。目前，陷陣CCD加掃描運動獲取圖像的方案應用廣泛，尤其在要求視場范圍大、圖像分辨率高的情況下。面陣相機可以用於面積、形狀、位置測量或表面質量檢測等，直接獲取二維圖形能一定程度上減少圖像處理算法的復雜度。在實際的工程應用當中，需要根據工程需求選擇。

3、按輸出色彩分類：黑白相機和彩色相機

此部分涉及一些圖像處理的理論知識，如果對其感興趣，可以關注公眾號：一刻AI，回復：彩色相機，獲取相關論文及資料。

黑白相機和彩色相機很容易理解，輸出圖像是黑白的就是黑白相機，彩色的就是彩色相機。有人說這不是廢話么，確實是廢話，不過從原理上來看還是比較有意思的。

先來看簡單的黑白相機，當光線照射到感光芯片時，光子信號會轉換成電子信號。由於光子的數目與電子的數目成比例，主要統計出電子數目就能形成反應光線強弱的黑白圖像。經過相機內部的微處理器處理，輸出就是一幅數字圖像。在黑白相機中，光的顏色信息是沒有被保留的。

實際上CCD是無法區分顏色的，只能感受到信號的強弱。在這種情況下為了采集彩色圖像，理論上可以使用分光棱鏡將光線分成光學三原色（RGB），接着使用三個CCD去分別感知強弱，最好在綜合到一起。這種方案理論上可行，但是采用3個CCD加分光棱鏡使得成本驟增。最好的辦法是僅使用一個CCD也能輸出各種彩色分量。

伊士曼·柯達公司科學家Bryce Bayer發明了拜耳列陣，使得僅使用一個CCD也能輸出各種彩色分量。Bayer彩色相機的原理為：如下圖所示，一行使用藍綠元素，下一行使用紅綠元素，如此交替。每個像素僅包括了光譜的一部分（R or G or B），必須通過色彩空間插值來還原每個像素的RGB值（文獻【1】）。

 

插值算法有很多，這里介紹：臨近插值算法。我們采用3X3的滑窗在上圖中滑動取樣，可以取到下圖中的四種分布。

在（a）與（b）中，R和B分別取鄰域的平均值；在（c）與（d）中，取領域的4個B或R的均值作為中間像素的值。

但是人眼對綠光的反應比較敏感，對紫光和紅光反應較弱。為了更好的還原畫質，依據鄰近值對進行自適應插值。

 

在情況（a）中，中間值R由以下公式決定，即G的值將插值到R上。

圖中，如果R1和R3之間的差小於R2和R4之間的差，則表明在垂直方向上相關性較強，我們使用垂直鄰近值G1和G3的平均值。水平方向也同理。

在情況（b）中，中間值B由以下公式決定，即G的值將插值到B上。

從彩色相機的成像原理可以看出，色彩值主要通過插值的形式來表述。而在實際應用中，即使最成熟的色彩插值算法也會在圖片中產生低通效應。文獻【2】對比了彩色相機與黑白相機在相同環境下的成像質量，如下圖所示。顯然，彩色圖像的細節處會出現偽彩色，導致精度降低。 在工業應用中如果我們要處理的是與圖像顏色有關，那么我們需要采用彩色相機；如果不是，那么最好選用黑白相機，因為在同樣分辨率下，黑白相機的精度高於彩色相機。

 3、按圖像傳感器分類：CCD和CMOS

圖像傳感器是工業相機的核心元件，主要有CCD和CMOS兩種。

CMOS(Complementary Metal Oxide Semiconductor)是互補金屬氧化物半導體，CMOS 圖像傳感器陣面中的每一個像元都是由三個部分組合而成，分別是感光二極管、放大器和讀出電路，然而由於每個單元獨立輸出，這也使得每個放大器的輸出結果都不盡相同，所以 CMOS 陣列所獲取的圖像噪聲較大，圖像的質量也相對降低，但是，對於一般的精度要求，還是可以滿足的。在集成電路領域中，CMOS采用的工藝是最基本的工藝，工藝相對來說不復雜，所以成本也不高，光電靈敏度較高等優點。它的一些性能參數也在不斷被優化，應用也越來越廣，總體來說，CMOS 的性價比還是較高的。

CCD （Charge-coupled Device）的全名是電荷耦合器件。CCD是一種半導體器件，能夠把光學影像轉化為數字信號，CCD上植入的微小光敏物質稱作像素(Pixel)，一塊CCD上包含的像素數越多，其提供的畫面分辨率也就越高。CCD提供很好的圖像質量、抗噪能力和相機設計時的靈活性。盡管由於增加了外部電路使得系統的尺寸變大，復雜性提高，但在電路設計時可更加靈活，可以盡可能的提升CCD相機的某些特別關注的性能。CCD更適合於對相機性能要求非常高而對成本控制不太嚴格的應用領域，如天文，高清晰度的醫療X光影像、和其他需要長時間曝光，對圖像噪聲要求嚴格的科學應用。

目前，CCD在性能方面還仍然優於CMOS。不過，隨着CMOS圖像傳感器技術的不斷進步，在其本身具備的集成性、低功耗、低成本的優勢基礎上，噪聲與敏感度方面有了很大的提升，與CCD傳感器差距不斷縮小。

 4、相機的主要接口類型

IEEE 1394:

1.  在工業領域中應用廣泛。協議、編碼方式都非常不錯，傳輸速度穩定。
2.  在工業中，常用的是400Mb的1394A和800Mb的1394B接口。超過800Mb以上的也有，如3.2Gb的，但是比較少見。
3.  接口普及率低，早期由蘋果壟斷，電腦上通常不包含其接口，因此需要額外的采集卡。
4.  需要注意一下其PacketSize數據包大小設置。Packet Size是整個1394總線的帶寬。
5.  占用CPU資源少，可多台同時使用，但由於接口的普及率不高，已慢慢被市場淘汰

GIGE千兆網接口：

1. 千兆網協議穩定，使用方便，連接到千兆網卡上即可工作
2. 在千兆網卡的屬性中，也有與1394中的Packet Size類似的巨幀。設置好此參數，可以達到更理想的效果。（我之前用NI Max的使用因為packet size設置的過大，導致無法軟件采集不到圖像）
3. 傳輸距離遠，可傳輸100米。
4. 可多台同時使用，CPU占用率小。

USB接口：

1. 早期的USB2.0接口連接方便，幾乎所有電腦都配置USB接口，無需采集卡。
2. USB2.0接口傳輸速率慢，傳輸過程需要CPU參與管理，占用及消耗資源大。
3. USB2.0接口一般沒有固定螺絲，接口不穩定，在運動設備上有松動的風險。
4. USB3.0在2.0基礎上新增了兩組數據線，向下兼容，接近了傳輸速度慢的問題，但傳輸距離依舊較近。

Camera Link接口：

1. 需要單獨的CameraLink接口，不便攜，導致成本過高。
2. Camera Link接口的相機，實際應用中比較少。
3. 采用LVDS接口標准，速度較快，抗干擾能力強，功耗低。
4.  傳輸距離近。

 5、相機的主要參數

1.  分辨率（Resolution）：相機每次采集圖像的像素點數（Pixels）。由工業相機所采用的芯片分辨率決定，是芯片靶面排列的像元數量。分辨率影響采集圖像的質量，在對同樣大的視場（景物范圍）成像時，分辨率越高，對細節的展示越明顯。
2. 像素深度（Pixel Depth）：每位像素數據的位數，常見的是8bit，10bit，12bit。分辨率和像素深度共同決定了圖像的大小。例如對於像素深度為8bit的500萬像素，則整張圖片應該有500萬*8/1024/1024=37M。
3. 最大幀率（Frame Rate）/行頻（Line Rate）：相機采集傳輸圖像的速率，對於面陣相機一般為每秒采集的幀數（FPS），對於線陣相機機為每秒采集的行數（Hz）。
4. 曝光方式（Exposure）和快門速度（Shutter）：線陣相機為逐行曝光的方式，可以選擇固定行頻和外觸發同步的采集方式，曝光時間可以與行周期一致，也可以設定一個固定的時間；面陣相機有幀曝光、場曝光和滾動行曝光等幾種常見方式，工業數字相機一般都提供外觸發采圖的功能。快門速度一般可到10微秒，高速相機還可以更快。
5. 靶面尺寸：圖像傳感器的感光部分的大小。 常見的靶面有1/4''、1/3''、1/2''、2/3''、1''等幾種，當然也有其他規格。靶面尺寸規格見下表。

 

 

 以basler的acA2500-14gm - Basler ace相機為例，該相機相機配有 ON Semiconductor MT9P031 CMOS 感光芯片，幀速率為每秒 14 幀圖像（14fps），分辨率為500 萬像素，靶面尺寸為1/22.5''。

 在選型時，按照以下步驟進行：

1. 根據需求和成本選擇圖像傳感器型號：CCD還是CMOS；
2. 根據目標的要求精度，選擇合適的分辨率。對於視野大小為10*10mm的場合，要求精度為0.02mm/pixel，則當方向上分辨率=10/0.02=500。
3. 若被測物體為運動物體，需要選擇幀數較高的工業相機。

參考文獻：

【1】Bayer color conversion and processing

【2】Jeon H G, Lee J Y, Im S, et al. Stereo matching with color and monochrome cameras in low-light conditions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 4086-4094.

【3】胡仁偉. 光滑零件表面缺陷檢測系統設計與實現[D]. 電子科技大學, 2018.

 

歡迎關注公眾號：一刻AI