原創：計算機視覺工坊
編輯：3D視覺工坊
作者：白楊
點擊上方“計算機視覺工坊”，選擇“星標”
干貨第一時間送達
本文轉載自「計算機視覺工坊」，該公眾號重點在於介紹深度學習、智能駕駛等領域，一個小眾的公眾號。
一、應用背景
印刷品作為產品包裝的一種主要形式，具有外觀精美、清潔衛生、成本低廉、使用方便等優點，在眾多行業得到了廣泛的應用，其特點是材質多樣、工藝復雜、質量要求高。在本問題域中，印刷品主要涉及三個主要類型：不干膠標簽、煙盒包裝和塑料薄膜軟包裝。其中，不干膠標簽主要包括：葯品標簽、電子產品標簽、日化品標簽、食品標簽；煙盒包裝包括：軟盒包裝和硬盒包裝；塑料薄膜軟包裝主要包括：葯品包裝、食品包裝、日化品包裝。標簽、煙包和軟包裝典型的產品圖像如圖1～圖3所示。
圖 1 葯品標簽
圖 2 煙包
圖 3 塑料軟包裝
印刷品生產過程中可能會產生各種各樣的缺陷，如墨點、異物、文字殘缺、漏印、色差、套印不准、臟點、刀絲、拖墨、划傷、溢膠、氣泡等。這些缺陷一旦出現在產品包裝上，產品視覺觀感將大打折扣，嚴重影響產品的品牌、降低客戶滿意度。目前，印刷企業主要以頻閃燈照明、人工粗略局部抽檢進行質量控制。由於人眼的局限性，質量得不到有效控制。隨着用戶對產品品質要求的不斷提高以及行業競爭的加劇，傳統的以人工抽檢為主的質量檢測手段已經嚴重制約了企業競爭力的提高，用自動化質量檢測設備代替人工是必然趨勢。目前，市場中已經出現了多種自動化質量檢測系統，大都基於視覺圖像進行產品外觀質量檢測。總體而言，國外產品由於綜合性能具有較大優勢，占據着大部分高端市場。國內產品憑借價格和服務優勢，占據着中、低端市場。未來，國內產品要在檢測速度、檢測能力、易用性、產品外觀、可靠性等方面進行全面提升，才能更好地服務國內客戶，乃至開拓國際市場。因此，產品技術升級迫在眉睫。
二、檢測原理
典型的印刷品檢測算法主要包括三大類：
(1)有參照判決。將被檢測圖像與標准模型比對，包括圖像級的逐點比對，特征級的特征比對。標准模板的獲取方式，包括基於PDF設計文件和基於好品統計兩類。
(2)無參照校驗。根據事先定義的產品特征，檢測圖像中指定區域是否存在違反規則的情況。
(3)混合型判決。綜合運用標准模板比對和基於規則的判決兩種方法。目前系統缺陷檢測選取了“混合型判決”的方法：以無參照的方法檢測刀絲缺陷（針對型檢測），以有參照的方法檢測文字殘缺、偏色、墨點、漏白、套印不良等缺陷（通用型檢測）。產品的使用過程包括“建模”和“檢測”兩個主要環節。主要流程如圖4所示。
圖 4 印刷品缺陷檢測系統工作流程示意圖
其中，“建模”環節由質量管理人員（QA）或者印刷機機長負責，主要操作步驟包括：產品基本資料輸入、標准產品圖像獲取、設置檢測范圍、划分特殊檢測區域（配准區域、字符區域、刀絲區域、屏蔽區域等）、設置檢測標准及相關參數。建模完成后相關數據將保存到統一的數據服務器中，該數據通常稱為“模板”。“檢測”環節由印刷機長或者普通操作人員負責，主要是完成分辨率標定和進行產品缺陷檢測。系統檢測算法基本流程如圖5所示。
圖 5 印刷品缺陷檢測算法流程示意圖
三、針對型檢測算法
拉絲、淺臟、散斑、串色，這類缺陷通用型檢測難以檢查出來，需要針對性提取其的特征才能查出來。
拉絲：一般只有一兩個像素寬度，但是長度較長，顏色較淺，基於點對點比較的通用性算法難以檢測這類缺陷，需要從不同顏色分量、紋理、對比度、縱向低頻橫向高頻等多個維度提取特征進行檢測。
淺臟：這類缺陷顏色較淺、面積較大，但是如果轉換到另一個顏色空間，則缺陷會明顯的突出出來，這類缺陷需要進行特殊的顏色轉換才能查出來。
散斑：這類缺陷表現為不連續，單個斑點缺陷不大，但是聯合起則較大，對於距離一兩個像素較近的散斑，則通過數學形態學的方法可以解決，距離較大的散斑則可通過顏色及距離兩個維度進行聚類。
顏色測量：在印刷過程中由於不同墨鍵位置上墨量不同、不同區域版壓不同、不同時間溫度不同會導致印出產品顏色與標准樣有一定的差異。
通過標准白板及專有色卡對采集系統進行標定得到RGB到LAB空間的顏色轉換模型，把實時印品不同區域不同顏色的LAB值與標准樣本對應區的LAB值比較得到色差△E。
四、通用型檢測算法
通用型檢測算法，即基於標准模板比對的算法，一般用於檢測灰度或者顏色差異比較大、面積稍大的各種缺陷。算法原理：分為離線和在線兩個步驟。離線：通過定位校正實時圖像與模板圖像的位置偏差，把校正后的合格的圖像作為樣品集訓練出大小模板；在線：通過定位校正實時圖像，比較實時圖像與大小模板每個像素之間的像素值，並計入一個錯誤值，若樣品像素在可接受的范圍，其錯誤值為零，若超過了此范圍，就由錯誤加權計算出其錯誤值，並進行連通性分析得到Blob、對Blob進行面積、占空比、能量等形狀特征分析識別缺陷。
1)大小模板如何生成？
2)錯誤值如何計算？
根據當前檢測圖像與模板進行逐點灰度值比較，找出大於大模板圖像灰度值（漏印或墨淺）點然后進行加權計算，生成漏印圖像；找出小於小模板圖像灰度值（臟點或墨濃等）的點進行加權計算，生成臟點圖像。錯誤值根據Tolerance（容忍度）、STEP（步長參數）、GAIN（增益參數）、LIMIT（范圍參數）進行計算。
通常情況下，由於產品中的字符區域帶有很多重要信息，因此對於字符區域缺陷的檢測往往要比其它區域更加嚴格。典型的字符缺陷包括：漏印、臟點、針孔，分別如下圖所示。
字符區域漏印缺陷
字符上針孔缺陷
字符區域墨點缺陷
對字符區域進行特殊的檢測，基於現有的圖像灰度比對技術基本是可以解決的，但要進行字符區域缺陷檢測，前提是：必須在“建模”階段精確划分出字符區域。目前，這個任務主要是由人工通過建模軟件來完成。考慮到不同印刷品，字符顏色、粗細、種類等千差萬別，完全依靠手工建模，存在着工作量大、操作繁瑣、容易疲勞且帶有很大的主觀性，因此必須考慮采用智能化的方法進行字符區域自動提取（下篇再做詳細分析）。
五、總結
該篇詳細介紹了印刷質量缺陷的檢測原理，分為通用性檢測算法和針對性檢測算法。其中通用性檢測算法比較有代表性，不僅僅局限於印刷品的檢測，其他很多行業都可以應用，詳細的實現細節可參考halcon的print_check.hdev例子。本文僅做學術分享，如有侵權，請聯系刪文。
下載1
在「3D視覺工坊」公眾號后台回復：3D視覺，即可下載 3D視覺相關資料干貨，涉及相機標定、三維重建、立體視覺、SLAM、深度學習、點雲后處理、多視圖幾何等方向。
下載2
在「3D視覺工坊」公眾號后台回復：3D視覺github資源匯總，即可下載包括結構光、標定源碼、缺陷檢測源碼、深度估計與深度補全源碼、點雲處理相關源碼、立體匹配源碼、單目、雙目3D檢測、基於點雲的3D檢測、6D姿態估計源碼匯總等。
下載3
在「3D視覺工坊」公眾號后台回復：相機標定，即可下載獨家相機標定學習課件與視頻網址；后台回復：立體匹配，即可下載獨家立體匹配學習課件與視頻網址。
重磅！3DCVer-學術論文寫作投稿 交流群已成立
掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿 微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。
同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點雲后處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流等微信群。
一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺 + 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創投稿也請聯系。
▲長按加微信群或投稿
▲長按關注公眾號
3D視覺從入門到精通知識星球：針對3D視覺領域的知識點匯總、入門進階學習路線、最新paper分享、疑問解答四個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發布3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業為一體的鐵桿粉絲聚集區，近2000星球成員為創造更好的AI世界共同進步，知識星球入口：
學習3D視覺核心技術，掃描查看介紹，3天內無條件退款
圈里有高質量教程資料、可答疑解惑、助你高效解決問題覺得有用，麻煩給個贊和在看~ 