摘要：地標識別，基於深度學習及大規模圖像訓練，支持上千種物體識別及場景識別，廣泛應用於拍照識圖、幼教科普、圖片分類等場景。本文將為大家帶來6種關於地標識的算法整理和總結。
地標識別，基於深度學習及大規模圖像訓練，支持上千種物體識別及場景識別，廣泛應用於拍照識圖、幼教科普、圖片分類等場景。本文將為大家帶來6種關於地標識的算法。
一、《1st Place Solution to Google Landmark Retrieval 2020》
算法思路：
Step1：使用清洗過的GLDv2數據集訓練初始embedding模型。
Step2：使用全量GLDv2數據基於Step1得到的模型進行遷移學習。
Step3：逐步擴大訓練圖片的尺度（512*512，640*640，736*736），模型性能得到進一步提升。
Step4：增加清洗后的數據的訓練loss權重，進一步訓練模型。
Step5：模型融合。
Notes：
1、Backbone模型為Efficientnet+global average pooling，訓練使用了cosine softmax loss。
2、為了處理類別不均衡問題，使用了weighted cross entropy。
經驗總結：
1、清洗后的數據有利於模型快速收斂。
2、全量大數據集有利於模型學習到更好的特征表示。
3、增加訓練分辨率能提升模型性能。
二、《3rd Place Solution to “Google Landmark Retrieval 2020》
算法思路：
Step1：使用CGLDv2訓練基礎模型用於提取GLDv2全量圖片特征，使用DBSCAN聚類方法更新圖像類別，進行數據清洗。
Step2：使用了Corner-Cutmix的圖像增廣方法，進行模型訓練。
Notes：
1、backbone為ResNest200和ResNet152，GAP池化，1*1卷積降維到512維，損失函數為cross entropy loss。
三、《Two-stage Discriminative Re-ranking for Large-scale Landmark Retrieval》
算法思路：
Step1：使用CNN特征進行KNN搜索，獲取相似圖片。
Step2：插入Step1遺漏的圖片進行重新排序。
Notes：
1、Backbone模型為ResNet-101+Generalized Mean (GeM)-pooling，訓練loss為ArcFace loss。
2、使用全局特征+局部特征對GLd-v2數據集進行清洗，用於后續模型訓練。
四、《2nd Place and 2nd Place Solution to Kaggle Landmark Recognition and Retrieval Competition 2019》
算法思路：
1、使用GLD-v2全量數據分別訓練Resnet152、ResNet200等模型，訓練loss為ArcFace loss、Npairs loss，拼接各個backbone的特征，使用PCA降到512維，作為圖像的全局特征。
2、使用全局特征進行KNN搜索，對搜索結果使用SURF、Hassian-Affine 和root sift局部特征進行再排序，並且使用了DBA和AQE。
五、《Detect-to-Retrieve: Efficient Regional Aggregation for Image Search》
算法思路：
Step1：使用GLD的帶bbox數據集，訓練Faster-RCNN或SSD檢測模型，用於地標框的提取。
Step2：提出了D2R-R-ASMK方法，用於檢測框內的局部特征提取與特征聚合。
Step3：使用聚合后特征在database中進行搜索。
Notes：
1、D2R-R-ASMK基於DELF局部特征抽取和ASMK特征聚合方法實現。
2、每張圖片提取4.05個region的時候效果最好，search的內存占用會有相應增加。
六、《Unifying Deep Local and Global Features for Image Search》
算法思路：
Step1：統一在同一個網絡中提取全局和局部特征
Step2：使用全局特征搜索top100的相似圖片
Step3：使用局部特征對搜索結果進行重排序
Notes：
1、全局特征使用GeM池化和ArcFace loss。
2、局部特征匹配使用Ransac方法。
本文分享自華為雲社區《地標識別算法》，原文作者：阿杜 。