
概述
所謂智能裁剪其實就是按照指定尺寸裁剪或顯示出包含圖片核心特征的區域，目前很多智能裁剪都是在服務器端做的，在客戶端需要訪問時直接裁剪放到Redis或者提前裁剪好以備訪問。但是找了一圈直接在iOS客戶端進行裁剪的庫還不多，或者使用成本比較高，不能即拿即用。但是有時候客戶端可能並非直接從服務器端獲取數據而是讀取相冊數據，不可能先把圖片存放到服務器端裁剪然后再拿來用，考慮到這種場景也不再少數，因此就有必要思考一套客戶端智能裁剪的方案。
免費好用的智能裁剪庫
最近兩天整理了之前開發一個軟件過程中自己開發的一個客戶端智能裁剪庫供有需要的同學使用，當然后面有時間的話會整理開源。說是庫本質就是一套算法而已，但是在編寫這套算法期間也參考評估過很多已有或者想要使用而沒有使用的解決方案。
首先說一下目前在網上比較容易找到的一些庫存在的問題：
- 沒有iOS對應的版本，集成起來極其復雜，之前為了用一個不錯的庫甚至在iOS調用Python庫
- 速度慢，生成一張智能裁剪后的圖片需要1s左右，不再可容忍范圍之內
- 人像識別不准確，圖片中占比較小的人臉識別不出來，甚至有可能出現誤識別（這個其實比識別不出來問題還大）
- 基於專利收費算法實現（例如使用SRUF），不僅開發者使用起來要引用大量的庫而且有收費風險
- 集成比較麻煩，使用起來光配置環境就要擺弄半天，還不一定能成功
當然，事實上在探索過程中也走了不少的彎路，遇到的問題要比上面多得多，包括有些算法只能裁剪橫圖，對於寬高比較小的豎圖支持很差，又或者引入大量的庫造成app本身大小直線上升等等。。。因此這也就是為什么自己要開發一個新的庫SmartCrop.framework而不是基於現有庫來做的原因。
那么SmartCrop.framework智能裁剪庫又有什么特點呢：
- 跨平台，當然既然作為一個iOS開發者一定要包含iOS版本（盡管此文中只提供了iOS版本，不過其實這個庫本身基於c++實現，天然具有跨平台特性，后續有時間也會整理其他平台的版本）
- 速度快，幾乎可以做到實時裁剪😆（當然這個比較理想，不過測試中本文提供的庫對於裁剪1000px以上的大圖iPhone X上已經可以做到0.1s以下，后續會持續優化）
- 精准的人臉識別，基於神經網絡進行識別，讓人像識別更加精准迅速（盡管需要一個訓練好的模型，不過模型本身並不大）
- 免費、好用，沒有專利之爭、集成迅速，按照步驟一分鍾之內完成
當然，SmartCrop.framework也並非完美，這個庫本身基於OpenCV的c++算法實現，綜合了很多算法實現了特征點檢測，這也就是說App需要集成opencv2.framework。另外算法本身還有優化空間，特別是特征點檢測中對於色差分辨不是特變明顯的圖片裁剪精准度會有下降，后面也會進一步優化，不過對比了幾個線上已有的庫來說精准度應該要比這些庫提高不少，畢竟再好的智能裁剪也是基於某些特征，和人為的意識還有不少差別。
和其他庫的對比
這里選取了之前使用過的一個Python庫作為對比，在iOS中運行10張1000px左右的圖片裁剪需要15s左右，這也是之前app中使用的實際結果。當然這其中有間接調用Python的成本，以至於后來直接測試了它的Android版本，大概耗時10s。下面是10張圖的裁剪結果對比，為了方便看出裁剪效果使用了橫圖裁剪成豎圖的對比，而圖片選擇部分盡量包括了人像和非人像圖片，視頻中每組圖有三張，分別是原圖、第三方庫裁剪后的效果、SmartCrop.framework裁剪后的效果：
當然從視頻不難看出，SmartCrop.framework人像裁剪相當精准，第1、3、4中的人臉第三方庫沒有識別出來，在非人臉識別的圖片中第6張樹的裁剪不理想。當然SmartCrop.framework也不是百分百完美，最后一張貓的圖片裁剪效果不如第三方庫，因為除了貓之外將右側的樹識別成了關鍵特征位置。當然也會發現第2張圖片中兩個庫都識別出了多個人臉，也都在有限的寬度內裁剪除了兩個人，但是位置不同，這個和裁剪策略和特征分析算法有關。
簡單的使用方法
引入SmartCrop.framework只需要從這里下載SmartCropDemo，找到其中的SmartCrop.framework直接將此庫拖拽到自己的項目中，在Xcode的Embedded Binaries中添加SmartCrop.framework即可（或者Build Phase的Copy File中添加SmartCrop.framework），然后在Linked Frameworks and Libraries中添加libc++.tbd，最后將opencv2.framework拖拽到項目中即可(注意由於github文件大小限制，這個庫沒有直接在code中提供，可以到這里直接下載解壓使用)。
SmartCrop.framework在開發的過程中盡量的簡化，通篇只有一個類SmartCropper，此類也只有兩個方法並且以ObjC靜態方法出現：
+(UIImage *)cropImage:(UIImage *)image size:(CGSize)size;
+(CGRect)cropRectWithImage:(UIImage *)image size:(CGSize)size;
而通常情況下直接調用最上面的一個方法即可滿足裁剪需求，那么為什么還要提供第二個API呢？原因是有些情況下並不想裁剪圖片而只想找到圖片的核心區域，SmartCrop.framework也已經做好了。
當然Swift中使用也僅僅需要一個bridge header而已，然后調用SmartCropper.cropImage(image, size:size)即完成了所有裁剪操作。
SmartCrop裁剪效果：
原圖

SmartCrop裁剪后

原圖

SmartCrop裁剪后

原圖

SmartCrop裁剪后

性能究竟怎么樣
Demo界面：

為了驗證性能做了一個上面提到的demo，在主界面選擇Photo Library可以實時預覽相冊中的圖片智能裁剪后的效果，按住主界面可以對比原圖；點擊Browser是對於前面提到的10張測試圖的實時預覽，可以從下面的展示效果看到幾乎是實時生成的，沒有太多卡頓，上面說的1000px以上的圖片，低於0.1s可以完成裁剪應該不會太誇張，當然實際使用中不會每張圖都實時顯示實時生成，可以提前存儲，加上預加載可以做到0卡頓效果。
運行效果如下：
還要說一下，SmartCrop.framework本身基於OpenCV 3.4.4進行開發，理論上可以向下兼容幾個版本，但是太舊的api可能無法使用，為了獲得更穩定的效果建議直接使用3.4.4版本。另外文中所有演示圖片來源於互聯網，僅作為演示學習之用，如存在版權問題請聯系本人（kenshincui@hotmail.com），即刻下線。