細粒度圖像與超分辨率
FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors(2018 CVPR SPOTLIGHT Presentation)
文章地址:https://arxiv.org/abs/1711.10703
作者的項目地址: FSRNet
本文提出了一個新的端到端訓練人臉超分辨網絡,通過更好的利用人臉特征臉熱度圖和分割圖幾何信息,在無需人臉對齊提升非常低分辨人臉圖像質量。
具體上,首先構建一個粗細粒度超分辨網絡恢復一個粗精度HR,其次把圖像送入一個細粒度超分辨編碼器和一個先驗信息估計網絡二條分支。細粒度抽取圖像特征,先驗網絡估計人臉特征點和分割信息。最后二個分支結果匯入一個細粒度解碼器進行重構信息。
AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks(2018 CVPR)
文章地址:https://arxiv.org/abs/1711.10485
作者的項目地址: AttnGAN
本文提出了細粒度圖像生成,通過借助文本描述生成包含充分細節圖像。利用了Attention-driven, multi-stage-refiment. GAN三種方法生成理想圖像,建立了文本描述到圖片細節attention。
構建了DAMSE使得Text-encoder和Image-encoder生成特征可以在公共空間對齊,表示相似性。也就是利用多模態相似性為目標協同優化特征提取,使得提取特征有利用GAN性能的提升。
細粒度圖像識別
2018國內十大技術突破之一,“看”一眼就結賬。
在傳統計算機視覺研究中,圖像識別的目標對象隸屬類別通常是諸如“狗”“車”和“鳥”等傳統意義上的類別分類。但大家應該都有這樣的經歷:逛街時看到路人的萌犬可愛至極,可僅知是“犬”殊不知其具體品種。然而,細粒度級別圖像識別技術便能准確分辨出哪怕細微差異的目標對象,解決此類難題。
現落地於南京快餐廳的細粒度圖像識別智慧收銀系統,可以近100%識別率,精確識別幾十種菜品,該系統在具體運行時,食客僅需將選好的菜品放在識別區,系統便會立刻顯示出菜品清單和價格,即可進行結算。
曠視科技Face++南京研究院負責人魏秀參博士表示:“首先,我們通過數據采集收集到待識別菜品近千張的圖像信息,之后針對諸多菜品間細微的差異設計基於深度學習的細粒度級別圖像識別算法。該算法除常規的卷積神經網絡模塊對整盤菜品獲取全局性的判別信息外,還包含一個‘注意力’模塊,可自動‘聚焦’到差異細微菜品的局部圖像區域。這些局部區域可有效輔助算法進行細粒度級別的菜品識別。”這樣,整張細粒度圖像識別特征既包含了菜品級別特征,又包含了更強判別性的局部特征,使得分類准確無誤。相比傳統標簽結算的方式,細粒度圖像識別技術大大降低了系統及人力成本,同時大幅提升了顧客點餐結賬的效率。
【轉載自】
深度學習應用到圖像超分辨率重建2 - 暮日落流年的博客 - CSDN博客 https://blog.csdn.net/alxe_made/article/details/81407726
細粒度圖像識別-賢集網圖像傳感器專題 https://www.xianjichina.com/special/detail_378104.html