視覺單詞模型、詞袋模型BoW


多用於圖像檢索、分類

3.2.1.4 視覺單詞模型

視覺詞袋(BoVW,Bag of Visual Words)模型,是“詞袋”(BoW,Bag of Words)模型從自然語言處理與分析領域向圖像處理與分析領域的一次自然推廣。對於任意一幅圖像,BoVW模型提取該圖像中的基本元素,並統計該圖像中這些基本元素出現的頻率,用直方圖的形式來表示。通常使用“圖像局部特征”來類比BoW模型中的單詞,如SIFT、SURF、HOG等特征,所以也稱視覺詞袋模型。圖像BoVW模型表示的直觀示意圖如圖所示。

 

圖3-3 圖像表示為視覺單詞模型

利用BoVW模型表示圖像,獲得圖像的全局直方圖表示,主要有四個關鍵步驟:

Step 1:圖像局部特征提取(Image Local Features Extrication)。根據具體應用考慮,綜合考慮特征的獨特性、提取算法復雜性、效果好壞等選擇特征。利用局部特征提取算法,從圖像中提取局部特征。

Step 2:視覺詞典構造(Visual Dictionary Construction)。一般是從圖像庫中選取一部分來自不同場景或類別的圖像來組成訓練圖像集,並提取其局部特征,然后對訓練圖像的所有局部特征向量通過適當的去冗余處理得到一些有代表性的特征向量,將其定義為視覺單詞。通常所采用的處理方法是對訓練圖像的所有局部特征向量進行聚類分析,將聚類中心定義為視覺單詞。所有視覺單詞組成視覺詞典,用於圖像的直方圖表示。

Step 3:特征向量量化(Feature Vector Quantization)。BoVW模型采用向量量化技術實現。現對圖像局部特征的編碼。向量量化結果是將圖像的局部特征向量量化為視覺單詞中與其距離最相似的視覺單詞。向量量化過程實際上是一個搜索過程,通常采用最近鄰搜索算法,搜索出與圖像局部特征向量最為匹配的視覺單詞。

Step 4:用視覺單詞直方圖表示圖像,也稱為量化編碼集成(Pooling)。一幅圖像的所有局部特征向量被量化后,可統計出視覺詞典中每個視覺單詞在該圖像中出現的頻數,得到一個關於視覺單詞的直方圖,其本質是上一步所得量化編碼的全局統計結果,是按視覺單詞索引順序組成的一個數值向量(各個元素的值還可以根據一定的規則進行加權)。該向量即為圖像的最終表示形式。

 

3.2.1.5 非結構圖像數據的結構化描述

圖像數據的結構化描述,可以用圖像稀疏特征學習的統一框架進行表示。圖像稀疏特征學習問題,是在提取圖像局部特征的基礎上,采用學習方法實現對圖像的稀疏表示,最終以一個稀疏向量的形式來表示圖像,描述圖像的視覺內容。其本質仍然是一個圖像特征提取問題:以圖像局部特征集為數據源提取可以表征其信息的單個稀疏特征(向量)。在機器學習或稀疏表示研究領域,也稱之為特征學習或稀疏學習問題。圖像原始數據或圖像局部特征數據本身都是高維的,它們從不同的層次(像素層、比像素高一級的特征層)對圖像內容進行了描述,但往往都不是稀疏的。高維度和稀疏性是形成圖像有效特征表示的重要屬性。基於圖像局部特征的稀疏學習的實現過程可用圖3-4示意。

 

圖3-4 稀疏學習的實現過程

具體地,選取圖像庫中的全部或部分圖像作為訓練圖像,提取底層局部特征,通過詞典學習方法(如聚類方法或基於稀疏學習的方法)得到超完備視覺詞典,然后以此視覺詞典作為編碼碼本,對庫圖像的局部特征進行特征編碼,如采用向量量化編碼、稀疏編碼或局部編碼等方法,得到每幅庫圖像的局部稀疏編碼矩陣,進一步進行特征集成,如采用Sum Pooling、MaxPooling等集成函數或SPM空間集成策略,就可得到圖像庫中每幅圖像的稀疏特征(即全局稀疏表示);另一方面,應用系統的輸入圖像的局部特征被提取,並利用訓練好的視覺詞典對其進行相同的特征編碼和特征集成操作,就可得到輸入圖像的全局稀疏特征。

 

 

 

【其他文獻】

圖像視覺特征與視覺單詞構造-2016年 - 百度文庫 https://wenku.baidu.com/view/072358f15ff7ba0d4a7302768e9951e79b89699f.html

視覺詞袋模型(BOVW) - 一雙拖鞋走天下 - 博客園 https://www.cnblogs.com/chensheng-zhou/p/5056547.html

視覺詞典BOW小結 - Darlingqiang的博客 - CSDN博客 https://blog.csdn.net/darlingqiang/article/details/81358531

視覺SLAM之詞袋(bag of words) 模型與K-means聚類算法淺析(1) - jason來自星星 - 博客園 https://www.cnblogs.com/zjiaxing/p/5548265.html

計算機視覺課程作業 基於詞袋模型的圖像分類算法 - 蔣_X_X Blog - CSDN博客 https://blog.csdn.net/baidu_28563321/article/details/46348439


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM