關鍵幀提取,提取視頻中具有表征意義的視頻幀作為關鍵幀,來簡潔的表述該視頻的內容.主要應用於視頻的壓縮存儲,視頻結構化索引等領域.
由於關鍵幀的選擇與人的視覺感受有關,存在一定的主觀性,目前,大多數關鍵幀提取主要是局限某個領域的視頻,像體育視頻,新聞,電影等.
這樣可以利用視頻本身的特點來完善關鍵幀提取算法的准確度.
我主要關注於監控視頻的關鍵幀的提取,下面將介紹的方法,主要針對監控視頻的.
基本思路:
1).利用背景建模,目標檢測技術,檢測前景目標,即運動信息.
2).針對每幀圖像中的前景目標,提取相應的特征,作業衡量運動信息的特征.
3).計算出每幀圖像的運動信息特征.
4).根據運動信息,按照一定策略選擇關鍵幀.
關鍵在於,用什么特征,描述每幀圖像的運動信息,根據運動信息,采用何種策略選擇關鍵幀.
參考文獻 A Novel Video Key-Frame-Extraction Algorithm Based on Perceived Motion Energy Model IEEE Trans. Circuits Syst. Video Technol 2003
文中提取運動信息特征:在視頻壓縮域里,利用編碼信息提取的.(不是很懂)
選擇關鍵幀的策略:
1).平滑和分割運動信息特征
2).然后每段里面,選取運動信息最大的幀為關鍵幀.
3).如果關鍵幀的數目有限制,則統計每段里面的運動信息,進行排序,選擇運動信息大作為關鍵幀候選段.
文中提出一種三角模型,一個三角代表一個分段,然后選取這個三角頂點對應的幀為關鍵幀.
不足之處:
1).運動信息最終的三角模型,與平滑和分割窗口的大小有關,文中設置的Filter_Win = 20,Split_Win = 200.
對於某些視頻,這兩個值大小的設定,對最終的檢測結果影響較大.
2).由於只選擇三角頂點對應的幀為關鍵幀,因而只能代表前景目標全部出現視頻中,但不能表現出前景目標對應運動方向,運動軌跡的特征.
以車輛和人為例,無法判斷車輛和人運動的大致軌跡.
PS:這點也與具體應用有關,如果應用中不需要關注前景目標的運動軌跡信息,則可以忽略.
擴展:
由於文中提得的運動信息提取方法,是從壓縮域的壓縮編碼中獲取,自己不是很懂.
因而,我主要改變運動信息的獲取方法,利用運動目標檢測來獲取運動信息.
其次,運動信息的特征只是簡單的前景目標的像素點數目.
關鍵幀選取策略,與上文類似.