能視頻檢索依賴於視頻算法對視頻內容進行分析，通過提取視頻中關鍵信息，進行標記或者相關處理，並形成相應事件和告警的監控方式，人們可以通過各種屬性描述進行快速檢索。如果把攝像機看作人的眼睛，而智能視頻監控系統可以理解為人的大腦。智能視頻技術借助處理器的強大計算功能，對視頻畫面中的海量數據進行高速分析，獲取人們需要的信息;
幀差模型
幀差可說是最簡單的一種背景模型，指定視頻中的一幅圖像為背景，用當前幀與背景進行比較，根據需要過濾較小的差異，得到的結果就是前景了。
背景統計模型
背景統計模型是：對一段時間的背景進行統計，然后計算其統計數據（例如平均值、平均差分、標准差、均值漂移值等等），將統計數據作為背景的方法。
編碼本背景模型
編碼本的基本思路是這樣的：針對每個像素在時間軸上的變動，建立多個（或者一個）包容近期所有變化的Box（變動范圍）；在檢測時，用當前像素與Box去比較，如果當前像素落在任何Box的范圍內，則為背景。
混合高斯模型
混合高斯背景建模是背景建模比較成功的一種。
為什么這么說呢？ 機器視覺算法提取運動目標面臨的基本問題：圖像抖動，噪聲干擾，光線變化，雲飄動，陰影（包括目標陰影和區域外物體陰影），區域內部反光（如水面，顯示器），運動目標緩慢移動等。那我們來看看，混合高斯背景建模是怎么解決這些問題的？
通過背景建模與前景提取，把視頻幀中的目標對象提取了出來，不過提取得到的是所有非背景對象，也就是是混合的，可能包含很多人、車、動物等對象，最終以圖搜圖檢索所要對比的是當個對象與搜索目標的相似性，這里就需要通過目標檢測與跟蹤把這些混合的對象分離開來分別處理；
在目標檢測方面，所了解到的算法有貝葉斯方法、卡爾曼濾波器、粒子濾波器幾種，他們之間的關系如下：
貝葉斯方法利用已知的信息建立系統的概率密度函數可以得到對系統狀態估計的最優解。
對於線性高斯的估計問題，期望的概率密度函數仍是高斯分布，它的分布特性可用均值和方差來描述，卡爾曼濾波器很好地解決了這類估計問題。
粒子（particle）濾波器——序列重要性采樣粒子濾波器，是一種適用於強非線性、無高斯約束的基於模擬的統計濾波器。
綜合上，粒子濾波的效果要更好；
光照處理：同一個物體，在不同光照下的視覺效果是不同的，所對應的數據也是不同的，所以，為了提高分析准確性，召回率，需要對目標對象做光照處理；光照處理方面，業界比較流行的算法是本征圖像分解法；
本征圖像分解
照相機所獲得的圖像中的每個像素點值所具有的屬性所表示的信息中最為重要的是亮度(shading)和反照率(reflectance)這兩種。其中亮度對應環境中的光照信息,反照率對應於物體的材質信息,即物體對光照的反射特性,反照率主要表現為物體的顏色信息。本征圖像求解問題就是從圖像出發,恢復所有像素點對應的場景中的亮度和反照率信息,分別形成亮度本征圖和反照率本征圖
本征圖像分解可以表述為I(x,y) = L(x,y)R(x,y),其中I(x,y)表示輸入圖像, R(x,y)表示反照率圖像, L(x,y)表示亮度圖像。因為在對數域中,乘法被轉換成了更加易於計算的加法,因此我們在圖像的對數域中進行計算,記 /(X,y) = log(I(x, y)) , r0,y) = log(R(x,少)),l(x,y) = log(L(x,y))。如此原來的乘法關系被轉化為:i(x,y,t) = r(x,y) + l(x,y,t)。
關鍵幀提取
安防監控所采集的視頻數據量非常大，如果對視頻的每一幀都進行特征提取、建立高維索引、檢索，那么在視頻分析和檢索方面的時間開銷將非常大，所以第一步，要先對視頻流進行關鍵幀提取，只對關鍵幀進行特征提取、建立高維索引、檢索的操作，大幅度縮短計算量；
視頻關鍵幀提取是指按照一定的規則提取能夠代表原視頻內容的幀，該技術能夠去除視頻數據中大部分冗余信息，僅保留視頻數據有用的部分；關鍵幀提取是后續特征提取。索引建立的前提，算法的優劣會直接影響整個視頻分析的准確率和性能；
關鍵幀提取的方法
關鍵幀提取方法主要分為兩類：基於全圖像序列的方法和基於壓縮視頻的方法；
目前大多數關鍵幀的提取研究是基於全圖像視頻分析的．具體實現方法的區別主要在於檢測方法的應用、特征的選擇以及幀圖像子塊的划分。主要可以分為以下幾類：
基於鏡頭邊界的方法
該方法將視頻流分割成很多的鏡頭，把鏡頭中的第一幀和最后一幀以及中間幾幀作為關鍵幀。該方法簡單易行，適於內容活動性小或內容保持不變的鏡頭。但未考慮鏡頭視覺內容的復雜性：限制了鏡頭關鍵幀的個數：提取的關鍵幀代表性不強，效果不夠穩定。
基於內容分析的方法
該方法基於每一幀的顏色、紋理等視覺信息的改變來提取關鍵幀。比較經典的方法是幀平均法和直方圖平均法。幀平均法是在鏡頭中計算所有幀在某個位置上像素值的平均值．然后將鏡頭中該點位置的像素值最接近平均值的幀作為關鍵幀；直方圖平均法是將鏡頭中所有幀的統計直方圖取平均．然后選取與該平均直方圖最接近的幀作為關鍵幀。
基於運動分析的方法
此方法是根據運動信息提取關鍵幀．代表算法是Wolf提出的運動極小值算法 Wolf通過光流分析來計算鏡頭中的運動量．在運動量取局部最小值處選取關鍵幀。
基於聚類的方法
該方法是目前關鍵幀提取的主流技術．其基本思想是：首先確定一個初始類心．然后根據當前幀與類心的距離來判斷當前幀是歸為該類還是作為新的類心．將鏡頭中幀分類后．取各類中離類心距離最近的幀作為關鍵幀。
基於壓縮視頻的方法
上述方法都是基於全圖像序列的，即在提取關鍵幀之前．對視頻進行解壓，還原成幀圖像。運算量大。基於壓縮域的方法是直接從MPEG壓縮視頻流上提取關鍵幀．無需對視頻流解壓或只需部分解壓，降低了計算的復雜性。
業界比較常用的是基於聚類的方法和基於壓縮域的方法進行關鍵幀提取；
關鍵幀提取完成后，就需要對提取到的關鍵幀進行特征提取操作，主要是顏色特征、紋理特征、形狀特征等幾個角度；特征提取完成后，會對目標特征建立高維索引，來提高檢索速度，最后通過對索引進行檢索來搜索目標圖像，返回搜索結果；