摘要
缺陷檢測是視覺需求中難度最大一類需求，主要是其穩定性和精度的保證。首先常見缺陷：凹凸、污點瑕疵、划痕、裂縫、探傷等。 缺陷檢測算法不同於尺寸、二維碼、OCR等算法。后者應用場景比較單一，基本都是套用一些成熟的算子，所以門檻較低，比較容易做成標准化的工具。而缺陷檢測極具行業特點，不同行業的缺陷算法迥然不同。隨着缺陷檢測要求的提高，機器學習和深度學習也成了缺陷領域一個不可或缺的技術難點。
- 傳統算法檢測缺陷：調試難度大，容易在檢測不穩定情況下反復調參，且復雜缺陷誤測多，兼容性差
- 機器學習檢測缺陷：一般使用類似MLP的一些單層神經網絡，對缺陷特征進行訓練分類，該方法需要事先提取出缺陷部分，一般用來與傳統分割法搭配使用，達到缺陷檢測分類的效果。
- 深度學習檢測缺陷（打標簽）：一般需要客戶提供大量的缺陷樣本，而且缺陷種類越多、特征越不明顯，需要的缺陷樣本就越大。其次，打標簽過程很難做到自動，需要手動輔助框出缺陷位置，工作量非常大。總結就是訓練周期久，訓練樣本大，如果客戶可以提供大量樣本，那該方法是首選（半導體行業一般不會出現大量缺陷樣品）
- 深度學習檢測缺陷（遷移學習法）：該方法我感覺會成為后面工業領域檢測瑕疵的一個大趨勢，但是需要一些公司去收集各種行業的缺陷類型圖片和訓練的網絡模型，並共享出來（突然感覺是個商機，就看誰能抓住了），然后我們可以使用遷移學習的方法學習別人訓練好的模型。
總的來說，機器視覺中缺陷檢測分為一下幾種：
- blob分析+特征
- 模板匹配（定位）+差分
- 光度立體
- 特征訓練
- 測量擬合
- 頻域+空間域結合
- 深度學習
頻域+空間域結合法
頻域結合空間，其實頻域就是用波動觀點看世界，看問題角度變了，光經過鏡頭其實發生的是傅立葉變換，此思想在傅立葉光學上有所闡述，就像光經棱鏡分光，而光進入計算機內部，進行了采樣和量化，然后我們用函數f(x,y)來表示這些數據描述。圖像處理應用傅里葉變換就是將空間域（圖像本身）轉換至頻率域。傅里葉變換可以將一個信號函數，分解一個一個三角函數的線性組合。由於任何周期函數都可以由多個正弦函數構成，那么按照這個思想，圖像由f(x,y)來表示，那么這時你就可以拆成多個正弦函數構成，這樣每個正弦函數都有一個自己的頻率。
關於傅里葉的講解，可以詳看：傅里葉分析之掐死教程（完整版）更新於2014.06.06 - 知乎 (zhihu.com)
頻率特征是圖像的灰度變化特征，低頻特征是灰度變化不明顯，例如圖像整體輪廓，高頻特征是圖像灰度變化劇烈，如圖像邊緣和噪聲。一個重要的經驗結論：低頻代表圖像整體輪廓，高頻代表了圖像噪聲，中頻代表圖像邊緣、紋理等細節。
💚那么什么時候使用傅里葉變換進行頻域分析？
1）具有一定紋理特征的圖像，紋理可以理解為條紋，如布匹、木板、紙張等材質容易出現。
2）需要提取對比度低或者信噪比低的特征。
3）圖像尺寸較大或者需要與大尺寸濾波器進行計算，此時轉換至頻域計算，具有速度優勢。因為空間域濾波為卷積過程（加權求和），頻域計算直接相乘。
💛一般對於頻域處理的方法有三種：
- 直接手畫ROI區域，然后paint_regio（噴黑）
- 用濾波器（高通，低通，帶通），然后進行濾波處理
- 調用power_real,對其進行blob分析。
💜halcon相關案例分析：
1，臟污檢測（低通濾波，差分，線提取）
如下圖，在塑料薄膜上有一些線條型的臟污，在空間域中向提取臟污的區域是比較困難的(方格會影響空間域的二值化），所以我們就想到了在頻域中去處理它。
思路：
-
用calculate_lines_gauss_parameters函數計算Sigma和高低閾值（為后續lines_gauss提取臟污線痕做准備） -
讀入圖片，將B空間轉到頻域
-
用高斯濾波器（低通濾波)進行濾波（即得到背景圖像）
-
差分（原圖——背景圖），銳化圖像
-
用lines_gauss提取臟污線痕
* 根據要提取的線的最大寬度和對比度，計算Sigma和高低閾值 calculate_lines_gauss_parameters (43.5, [25,5], Sigma, Low, High) read_image (Image, 'D:/1.png') * 這種臟污的提取可以考慮在頻域中處理 * 讓前景和背景分離，然后再提取臟污的區域 * 彩色圖轉灰度 這里拆通道更好，因為方格會影響臟污的提取 decompose3 (Image, R, G, B) get_image_size(B, Width, Height) * 空間域轉頻域 fft_generic (B, ImageFFT, 'to_freq', -1, 'none', 'dc_center', 'complex') * 創建一個高斯濾波器/sigma越小濾波器越小，通過的信號更加的集中在低頻，這樣做的目的是得到背景 gen_gauss_filter (ImageGauss, 100, 100, 0, 'n', 'dc_center', Width, Height) * 頻域的乘法相當於空間域的卷積 convol_fft (ImageFFT, ImageGauss, ImageConvol) * 頻域轉空間域 fft_generic (ImageConvol, ImageFFT1, 'from_freq', 1, 'none', 'dc_center', 'byte') * 差分（原圖 — 背景） sub_image (B, ImageFFT1, ImageSub, 2, 100) * 提取臟污的中心線 lines_gauss (ImageSub, Lines, Sigma, Low, High, 'dark', 'true', 'gaussian', 'true') dev_display (B) dev_display (Lines)
🙄 相關API參數：
- calculate_lines_gauss_parameters（根據線的最大寬度以及對比度計算出lines_gauss算子輸入的Sigma、Low、High值)
calculate_lines_gauss_parameters( : : MaxLineWidth, Contrast : Sigma, Low, High)
MaxLineWidth (input_control) // lines_gauss要提取線條的最大寬度
Contrast (input_control) //lines_gauss要提取線的對比度。
Sigma (output_control) //獲取用於lines_gauss輸入的Sigma值
Low (output_control) //獲取用於lines_gauss輸入的Low 值
High (output_control) //獲取用於lines_gauss輸入的High 值
關於Contrast 參數詳解：
Contrast 值不僅可以一個，也可以為兩個：
當只選擇一個值時，最小對比度將會默認為最大對比度的1/3，最小對比度越小，線條將會延伸到對比度較低的區域，即線條越長。反之，值越高，線條越短，但越突出。
當值為兩個時，數組中的第二個值是要提取線的最小對比度，並且其值不能大於第一個值。比如：[20,10]
-
lines_gauss（提取圖像上的線條，提取的結果屬於亞像素精度的XLD輪廓）
lines_gauss(Image , Lines ,Sigma, Low, High, LightDark, ExtractWidth, LineModel, CompleteJunctions ) Image (input_object) //輸入圖像 Lines (output_object) //檢測線條（XLD） Sigma (input_control) //高斯濾波值 Low (input_control) //滯后閾值分割的低閾值 High (input_control) //滯后閾值分割的高閾值 LightDark (input_control)//提取線條的類型，暗色還是亮色，(’dark’, ‘light’) ExtractWidth (input_control) //是否提取線寬（‘false’,‘true’） LineModel (input_control) //用來調整線條位置和寬度的線模型（‘bar-shaped’, ‘gaussian’, ‘none’, ‘parabolic’） CompleteJunctions (input_control) //在斷連的部分是否添加節點使線條連續（‘false’, ‘true’）
2，檢測表面微小凸起（高斯差分，灰度差，二值化）
如圖，對於處理這種細微的缺陷，也可使用頻域處理。
思路：
- 使用兩個低通濾波器，進行相減后構造了一個帶阻濾波器來提取缺陷分量
- 讀入圖像，灰度化，轉頻域，進行濾波，轉回空間域
- 在空間域上blob分析
- 顯示
關鍵點：該例程的關鍵就是使用兩個低通濾波器，進行相減后構造了一個帶阻濾波器來提取缺陷分量。通過帶阻濾波后獲得的頻率成分對背景中的紋理要有明顯的抑制，並且突出缺陷成分，在頻域處理完成轉會空間域之后，又用了一個能擴大亮點區域的函數：gray_range_rect 輔助后面的二值化，最終完成了缺陷的檢測，這個函數可以說是點睛之筆。
dev_close_window () *1采集圖像 read_image (Image, 'D:/1.png') get_image_size (Image, Width, Height) dev_open_window (0, 0, Width, Height, 'black', WindowHandle) set_display_font (WindowHandle, 14, 'mono', 'true', 'false') dev_set_draw ('margin') dev_set_line_width (3) dev_set_color ('red') * 根據具體寬高，優化該圖像的傅里葉變換速度（有此函數） optimize_rft_speed (Width, Height, 'standard') Sigma1 := 10.0 Sigma2 := 3.0 *形成高斯濾波器 gen_gauss_filter (GaussFilter1, Sigma1, Sigma1, 0.0, 'none', 'dc_center', Width, Height) gen_gauss_filter (GaussFilter2, Sigma2, Sigma2, 0.0, 'none', 'dc_center', Width, Height) *第一個濾波器減去第二個濾波器（形成帶通濾波器） sub_image (GaussFilter1, GaussFilter2, Filter, 1, 0) *2進行頻域濾波 rgb1_to_gray (Image, Image) * 轉到頻域 fft_generic (Image, ImageFFT, 'to_freq', -1, 'none', 'dc_center', 'complex') *濾波 convol_fft (ImageFFT, Filter, ImageConvol) *返回空間域（實部） fft_generic (ImageConvol, ImageFiltered, 'from_freq',1, 'n', 'dc_center', 'real') *3空間域上的blob圖像分割 *原圖矩形內的灰度值范圍（max-min）作為輸出圖像像素值，擴大了亮的部分 gray_range_rect (ImageFiltered, ImageResult, 10, 10) * 獲得圖像最大灰度值和最小灰度值 min_max_gray (ImageResult, ImageResult, 0, Min, Max, Range) *二值化提取( 5.55是經驗值，在調試中得到) threshold (ImageResult, RegionDynThresh, max([5.55,Max * 0.8]), 255) select_shape (RegionDynThresh, SelectedRegions, 'area', 'and', 1, 99999) connection (SelectedRegions, ConnectedRegions) dev_display (Image) count_obj (ConnectedRegions, Number) for Index1 := 1 to Number by 1 select_obj (ConnectedRegions, ObjectSelected, Index1) area_center (ObjectSelected, Area, Row, Column) gen_circle_contour_xld (ContCircle, Row, Column, 20, 0, 6.28318, 'positive', 1) dev_display (ContCircle) endfor
🙄 相關API參數：
- gray_range_rect（用一個矩形掩膜計算圖像中最大最小灰度的差，並體現到每個圖像點）
gray_range_rect( Image , ImageResult , MaskHeight, MaskWidth: ) 參數列表： Image（in） //被計算灰度值的圖像 ImageResult（out） //包含灰度值的圖像 MaskHeight（in） //濾波器掩模的高度 MaskWidth（in） //濾波器掩模的寬度
效果如圖：在濾波后對圖像進行 gray_range_rect (ImageFiltered, ImageResult, 10, 10)處理后（增強對比度，即亮部分）：
- min_max_gray(得到區域的最小值最大值及灰度值范圍)
min_max_gray( Regions, Image ,Percent , Min, Max, Range) 參數列表： Regions（in） //輸入區域 Image（in） //灰度圖像 Percent（in） //小於（大於）絕對最大（最小）值的分數 Min（out) //最小灰度值 Max（out） //最大灰度值 Range（out） //最小值與最大值的差
- gen_circle_contour_xld（創建圓或圓弧的XLD輪廓）
gen_circle_contour_xld(ContCircle ,Row, Column, Radius, StartPhi, EndPhi, PointOrder, Resolution) 參數列表： ContCircle（out） //輸出輪廓 Row, Column（in） //圓弧或圓的中心坐標 Radius（in） //圓弧或圓的半徑 StartPhi（in） //圓或圓弧的起始角度 EndPhi（in） //圓或圓弧的終止角度 PointOrder（in） //輸入沿邊界的點序（ 'negative'負序, 'positive'正序） Resolution（in） //相鄰輪廓點之間的距離（Resolution >= 0.00001）
- gen_gauss_filter（形成高斯濾波器（低通））
gen_gauss_filter( GaussFilter,Sigma1, Sigma2, Phi, Norm, Mode, Width, Height )
參數列表： GaussFilter（in/out）//生成的高斯濾波器的句柄 Sigma1（in） //空域中高斯在主方向上的標准差 Sigma2（in） //空域中高斯在垂直於主方向的方向上的標准差 Phi（in） //濾波器主方向的角度（0.0） Norm（in） //濾波器的規范（’none’） Mode（in） // 直流項在頻域的位置（’rft’） Width, Height （in） // 圖片的寬高
👀 該例程通過兩個高斯濾波器相減，構建一個帶通濾波器，其函數GenGaussFilter為：，常用於紋理缺陷檢測
構建函數：GenGaussFilter（ImageFilter, Sigma1, Sigma2, Width, Height） gen_gauss_filter (GaussFilter1, Sigma1, Sigma1, 0.0, 'none', 'rft', Width, Height) gen_gauss_filter (GaussFilter2, Sigma2, Sigma2, 0.0, 'none', 'rft', Width, Height) sub_image (GaussFilter1, GaussFilter2, ImageFilter, 1, 0) return ()
GenGaussFilter (ImageFilter, 2, 10, Width, Height)則是一個帶通濾波器（或者說“帶阻濾波器”）——先通過高反差保留讓中高頻通過，然后通過高斯模糊抑制高頻，最終的結果是讓中頻通過。
3，檢測磨砂表面的缺陷（高斯濾波差分，分水嶺，灰度共生矩陣）
由於磨砂表面粗糙（噪點很多，影響二值化） 因此該例程使用了頻域高斯濾波差分后，在空間域的blob分析用了分水嶺域分割濾波后的圖像，計算每個區域灰度共生矩陣，通過能量篩選缺陷。
dev_close_window () dev_update_off () read_image (Image, 'D:/1.png') get_image_size (Image, Width, Height) dev_open_window (0, 0, 640, 480, 'black', WindowHandle) set_display_font (WindowHandle, 14, 'mono', 'true', 'false') dev_set_draw ('margin') dev_set_line_width (3) dev_set_color ('red') decompose3 (Image, R, G, B) fft_generic (B, ImageFFT, 'to_freq', -1, 'sqrt', 'dc_center', 'complex') gen_gauss_filter (ImageGauss, 50, 50, 0, 'none', 'dc_center', Width, Height) convol_fft (ImageFFT, ImageGauss, ImageConvol) fft_generic (ImageConvol, ImageBackground, 'from_freq', 1, 'sqrt', 'dc_center', 'byte') * 圖像減去背景，增加特征與背景對比度 sub_image (B, ImageBackground, ImageSub, 2, 100) * 中值濾波，為分水嶺域做准備 median_image (ImageSub, ImageMedian, 'circle', 9, 'mirrored') watersheds_threshold (ImageMedian, Basins, 20) * 缺陷部分是黑色的，灰度值小能量就小，所以根據能量可以將缺陷的區域篩選出來 cooc_feature_image (Basins, ImageMedian, 6, 0, Energy, Correlation, Homogeneity, Contrast) Mask := Energy [<=] 0.05 select_mask_obj (Basins, Defects, Mask) dev_display (Image) dev_display (Defects) count_obj (Defects, NDefects) disp_message (WindowHandle, NDefects + ' \'mura\' defects detected', 'window', 12, 12, 'red', 'true')
🙄 相關API參數：
- cooc_feature_image（計算圖像的灰度共生矩陣）
cooc_feature_image(Regions, Image ,LdGray, Direction ,Energy, Correlation, Homogeneity, Contrast) 參數列表： Regions（in） //要檢查的區域。 Image （in） //灰度圖像。 LdGray(in） //要區分的灰度值的數量。（默認6） Direction （in） //矩陣的計算方向('0','45','90','130','mean‘） Energy（out） //能量 Correlation（out）//相關性 Homogeneity（out) //局部均勻性（熵） Contrast（out） //對比度（反差）
輸出參數詳解：
能量（Energy）：是對圖像紋理的灰度變化穩定程度的度量,反應了圖像灰度分布均勻程度和紋理粗細度。能量越大，表示灰度變化比較穩定，反映了紋理變化的均勻程度。。對於灰度圖來說，能量低說明灰度值低，對於彩色圖來說，能量低說明光強低。
相關性（Correlation）：表示紋理在行或者列方向的相似程度。相關性越大，相似性越高。
（熵）局部均勻性（Homogeneity）：反映圖像局部紋理的變化量（即復雜程度），熵值越大圖像越復雜。
(反差）對比度（Contrast）：表示矩陣的值的差異程度，也間接表現了圖像的局部灰度變化幅度。反差值越大，圖像中的紋理深淺越明顯，表示圖像越清晰；反之，則表示圖像越模糊。
- watersheds_threshold(閾值分水嶺圖像分割)
watersheds_threshold(Image ,Basins ,Threshold ) 參數列表： Image（in）//輸入圖像(最好先用中值濾波處理） Basins（out）//輸出二值圖像（盆地） Threshold（in）//閾值
算子描述：
第一步：計算出分水嶺（不使用該參數Threshold ），分割的盆地和調用算子watersheds得到的盆地是相同的
第二步：如果被一個分水嶺分割的相鄰盆地與對應分水嶺的高度差小於Threshold ，盆地依次合並。假設B1和B2分別是兩個相鄰盆地的最小灰度值，W是盆地對應分水嶺的最小灰度值。當滿足以下條件時，兩個盆地合並：max{W-B1，W-B2}<Threshold 。由此得到的盆地存儲在Basins 變量中。