摘要：
監視攝像機視頻與三維（3D）地理信息系統（GIS）的集成要求對視頻進行地理配准。由於視頻由單獨的幀組成，因此必須對每個幀進行地理定位。為了對視頻幀進行地理配准，我們依賴於捕獲幀時有關攝像機視圖的信息。 3D空間中的相機視圖完全由相機位置（camera position），方向（orientation）和視野（field-of-view）確定。由於要精確測量這些參數非常困難，因此本文提出了一種基於將某些點特征的視頻幀坐標與其3D地理位置進行匹配的估計方法。為了獲得這些坐標，我們依賴於感興趣區域的高分辨率正射照片和數字高程模型（DEM）。匹配足夠數量的點后，將應用Levenberg-Marquardt迭代優化來查找最合適的視頻幀地理參考，即攝像機的位置和方向。
關鍵字：視頻監控； 相機校准； 地理注冊 地理配准
1.簡介
由於視頻監控系統在交通監控，犯罪預防，安全和事后分析中的重要作用，因此視頻監控系統已迅速擴展[1]。 由於越來越多的安全問題，攝像機監視已被廣泛用作監視公共場所的一種方法[2]。 當前，城市中有成千上萬的攝像機每天收集大量數據[3]。 視頻監視系統最初是為人類操作人員設計的，可以同時觀看和錄制視頻以供以后分析。 隨着攝像機數量的顯着增加以及操作人員無法管理已歸檔視頻數據的數量，引入了智能視頻監視系統[2]
實時視頻監控在眾多安全，執法和軍事應用的監控系統中發揮着越來越重要的作用[4]。然而，傳統的視頻監控系統在多點監控方面存在各種問題[5]。用於常規視頻監視的典型系統將每個攝像機直接連接到相應的監視器。當監視系統的規模大於監視人員的能力時，可能會出現嚴重的問題。安全操作員必須在心理上將每個監視監控器映像映射到現實世界中的相應區域，而這一復雜的任務需要培訓和經驗[5]。為了促進多攝像機的協調和跟蹤，Sankaranarayanan和Davis [6]強調了建立可將這些攝像機映射到的公共參考系的重要性。他們建議使用GIS作為通用參考框架，因為它不僅可以提供堅實的基礎事實，而且（更重要的是）還可以用於存儲語義信息（例如，建築物，道路，敏感區域等）以用於在跟蹤和活動分析等應用程序中使用。
為了集成視頻和GIS，必須在地理上引用該視頻。由於視頻代表了一系列獨立的圖像（幀），因此要對其進行地理定位，必須在每個幀上附加信息，以將幀的像素映射到相應的地理位置。一種方法是在捕獲幀時記錄攝像機的位置，方向和視野，以便以后可以將幀圖像投影到虛擬3D GIS場景中。由於測量這些參數可能既不准確又復雜，因此在本文中，我們將提出一種間接估計方法。該方法依賴於將視頻幀的不同點與地理正射影像圖和數字高程模型（DEM）進行匹配，以獲取其3D坐標。匹配足夠數量的不同點后，將應用Levenberg-Marquardt迭代優化[7,8]來找到最合適的視頻地理參考，即攝像機的位置和方向。合適性的度量是所選點的輸入和獲得的圖像坐標之間的最小平方誤差的總和。
本文的組織結構如下：第2節介紹了有關視頻監控（video surveillance），攝像機校准（camera calibration）和圖像地理配准（image georegistration）的相關工作。 第3節介紹了有關監視攝像機視頻地理配准（surveillance camera video georeferencing）的詳細信息，重點是說明用於對單個視頻幀進行地理配准的參數。 在第4節中，介紹了建議的估算方法，該方法涵蓋了固定攝像機和全景攝像機（PTZ）的變化。 第5節介紹了該方法的軟件實現和獲得的實驗結果。 最后，第6節介紹了結論。
2.相關工作
傳統上，視頻監控系統的用戶界面基於視頻顯示，地圖和間接控件的矩陣。 空間導航，特別是對於涉及許多攝像機的復雜事件的實時跟蹤，可能非常困難。 在這種情況下，操作員必須快速，准確地決定要使用哪些攝像機在眾多可用攝像機之間導航。 為了應對安裝的攝像機數量的增加，現代視頻監控系統依靠智能視頻監控[3]實現自動化，並通過上下文感知解決方案[9]更好地呈現監控數據，並與虛擬GIS環境集成[10,11]。
智能視頻監控的目標是通過自動檢測，跟蹤和識別感興趣的對象以及理解和分析在視頻中檢測到的活動，來從監控攝像機創建的大量視頻中有效地提取有用的信息[3]。智能視頻監控旨在最大程度地減少視頻處理，傳輸和存儲需求，使其適合大規模用作智能城市中的集成式安全保護解決方案。 Calavia等。 [12]提出了一種通過分析物體的軌跡來檢測和識別異常和警報情況的系統。另一方面，視頻和GIS的集成旨在統一從不同地理位置收集的視頻信息的表示[13]。因此，它與智能和上下文感知視頻監視技術沒有沖突。相反，許多創新功能（例如基於GIS的用戶界面可更好地了解情況，將一個或多個PTZ攝像機自動指向給定地理位置，與地理位置傳感器集成以及基於地理位置的自動化用於事件處理）可以實現。出現[10]。
Lewis等人考慮了將空間視頻（即地理參考視頻數據）作為GIS中其他數據類型的潛力。 [14]。他們的研究重點是使用Viewpoint數據結構表示視頻幀，以便進行地理空間分析。近年來，越來越多的論文解決了大規模視頻監控以及與GIS集成的不同問題。 Wang等人提出了視覺覆蓋率的估計方法，它是描述攝像機網絡可用性的最重要的質量指標之一。 [15]和Yaagoubi等。 [16]。針對類似問題，Choi和Lee [1]提出了一種評估監視覆蓋率指數的方法，以定量地衡量視頻監視系統可以如何有效監視目標區域。 Wu等人解決了組織和管理用於公共安全視頻監視的實時地理空間數據的問題。 [17]。他們提出了一種用於實時數據訪問和結構化的動態分析的NoSQL-SQL混合方法，可以滿足時空大數據鏈接分析需求的增長。為了克服常規視頻監控系統的局限性，例如視頻搜索效率低，視頻數據傳輸冗余以及在地理空間中定位視頻內容的能力不足，Xie等人。 [13]提出了通過使用運動檢測和空間映射將GIS和運動視頻中的移動對象集成在一起的方法。
視頻和GIS融合（the fusion of video and GIS）的前提是視頻幀在地理上是參考的（video frames are geographically referenced）。 地理配准視頻（Georeferencing video）在許多方面與攝像機校准（camera calibration）（或攝像機姿態估計camera pose estimation）和視頻地理配准（video georegistration）的問題有關。 相機校准是計算機視覺中的一個基本問題，在許多視頻監控應用中必不可少[3]。 相機校准是估計內部和/或外部參數的過程。 內部參數處理相機的內部特性，例如焦距（focal length），主點（principal point），偏斜系數（skew coefficients）和失真系數（distortion coefficients）。 外在參數描述了它在世界上的位置（position）和方向（orientation）。
相機校准的問題已在文獻中得到了很好的介紹。 Zhang [18]提出了一種簡單的相機校准技術，通過觀察在幾個不同方向上顯示的平面圖案來確定徑向變形。 Lee and Nevatia [2]開發了一種用於城市環境的視頻監控攝像機校准工具，該工具依賴於消失點提取。由於有許多平行線，例如街道線，燈桿，建築物等，在城市環境中很容易獲得消失點。Muñoz等人已經研究了通過Levenberg-Marquardt方法校准環境攝像機圖像。 [19]。他們提出了一種程序，該程序依靠少量的地面控制點（GCP）來估計所有針孔相機模型參數，包括鏡頭畸變參數。對於許多其他與計算機視覺和攝影測量相關的問題，例如從多個圖像進行的3D重建（3D reconstruction）[20]，視覺測距（visual odometry）[21]和視覺SLAM（同時定位和映射simultaneous localization and mapping）[22]，相機校准技術（Camera calibration techniques）必不可少。
視頻地理配准（Video georegistration）是視頻圖像在地理上校准的參考圖像的空間配准，以便視頻可以繼承參考坐標[23]。將大地坐標分配給視頻像素的能力是使多種操作受益的步驟，這些操作可以從大規模視頻監視中受益。在攝影測量界，從移動平台進行地理空間圖像精確地理配准的流行方法稱為直接地理配准[24]。此類應用所需的相機位置和方向是從大地測量級全球導航衛星系統（GNSS）接收器與高質量導航級慣性導航系統（INS）結合獲得的。通過額外集成地面控制信息，可以進一步提高直接地理配准的可實現精度。 Neumann等。 [25]介紹了一種基於數據與可用3D模型的融合來穩定直接地理參考視頻流的方法。莫爾斯等。 [26]作為他們致力於創建地理空間視頻覆蓋質量地圖的研究的一部分，報告了使用地形模型和空中參考圖像來完善無人機（UAV）攝像機的姿態估計的情況。
地面圖像或靜止視頻（例如監視攝像機視頻）的地理注冊通常依賴於基於單應矩陣（homography matrix-based）的方法[27,28]。這些方法假定在地理空間中為平面地面，因此需要四個或更多匹配點才能確定相應的單應性矩陣。由於它們基於平面地面的假設，因此基於單應矩陣的方法不適用於大型場景或復雜地形的場景。在這些情況下，通常會考慮地形模型，並且地理配准（georegistration）等效於地理空間中的攝像機姿態估計（the camera pose estimation）[19]。近年來，出現了其他基於地理注冊3D點雲的方法。 Li等。 [29]提出了一種使用大型地理配准3D點雲進行全球相機姿態估計的方法，該方法覆蓋了世界各地。他們的方法直接在圖像特征和3D點之間建立對應關系，然后計算與這些特征匹配相一致的相機姿態。 Qi Shan等人也采用了類似的方法。 [30]附加將地面圖像扭曲到目標視圖中，以實現更可靠的特征對應。
提議的對監視視頻進行地理配准的方法依賴於將視頻幀中的2D圖像坐標與3D大地坐標相匹配，以估計攝像機在地理空間中的位置和方向。 這種方法的主要優點是通用性強，即監視區域不必一定是平面的，並且可以以不同的方式獲得已識別點的3D大地坐標。 該方法的第二個重要優點是它的簡便性，因為應用該方法的唯一兩個先決條件是地理正射影像圖和DEM。 最后，第三個也是最明顯的優勢是它支持PTZ攝像機的地理配准。
3.地理配准監控攝像機視頻（Georeferencing Surveillance Camera Video）
3.1 針孔相機模型
視頻代表一系列固定間隔的靜態圖像（稱為“幀”）。 對視頻進行地理配准的問題歸結為對視頻的每個幀進行地理配准的問題。 要對視頻幀進行地理配准，我們依賴於幀捕獲時有關攝像機視圖的信息。 可以使用pinhole camera模型[18]中定義的4×3攝像機矩陣（P）來指定攝像機視圖：
相機矩陣（P）將3D世界坐標（x，y，z）映射到圖像坐標（u，v）。 攝像機矩陣（P）可以使用外部（[R t] T）和內部（K）參數表示。 外在參數表示相機在3D世界中的位置和方向，而內在參數表示相機的光學中心（cu，cv）和焦距（fu，fv）：
參數s是偏斜系數，如果圖像軸不垂直，則偏斜系數不為零。 參數fu和fv分別代表以像素為單位的水平和垂直方向上的焦距。 可以使用世界單位（F）的焦距和世界單位（pu，pv）的像素大小來表示它們：
提出的針孔相機模型不考慮鏡頭畸變，因此為了准確表示真實的相機，使用了以下徑向畸變模型[18]：
使用k1，k2和k3參數對徑向變形進行建模。 未歸一化的像素位置（uˆ，vˆ）和畸變的（uˆdistorted，vˆdistorted）像素在標准化圖像坐標中表示。 通過將像素坐標平移到光學中心（cu，cv），然后將其除以像素的焦距（fu，fv），可以從像素坐標計算出歸一化的圖像坐標。
3.2 觀察者觀點模型
要將攝像機視圖與地理空間相關聯，必須在地理上引用外部攝像機參數。 Milosavljevi´c等人定義了一組較短的參數，這些參數確定地理空間中的攝像機視圖。 [31]作為觀察者視點模型。 為了描述攝像機視圖，觀察者視點模型使用攝像機的位置（position），方向（orientation）和視野（field-of-view）（簡稱fov）。 相機的視野代表一個簡單的參數，而相機的位置和方向則是更為復雜的視點特征，可以用幾種不同的方式表示。
為了表示攝像機在3D地理空間中的位置，我們需要將三個坐標綁定到某個地理坐標系。地理坐標系主要分為三類：地心坐標系，大地坐標系和投影坐標系[32]。地心和大地坐標適用於地球級別，而投影系統通常與某些地區或國家相關。地心坐標系是笛卡爾型坐標系，其中心與地球中心對齊。為了表示地心系統中的一個點，x，y和z坐標與以米為單位的值一起使用。盡管對某些轉換有利，但表示地球位置的更自然的方法是使用大地坐標系。大地坐標中的位置由緯度（lat），經度（lon）和海拔高度（alt）指定。當今最廣泛的大地坐標系稱為WGS84，它基於具有相同名稱的橢球[33]。 WGS84坐標系用於全球定位系統（GPS），因此，由於其通用性，它還可用於表示觀察者視點模型中的位置（緯度，經度和高度參數）。
相機方向定義了相機外觀的方向。 通過應用圍繞所有三個軸的旋轉來設置3D空間中的方向。 這意味着相機方向也由三個參數確定，其中每個參數代表圍繞某個軸的旋轉。 這三個角度必須與某個參考系統綁定在一起才能有意義。 我們依靠一種用於飛行動力學的方法來引入三種旋轉：偏航（yaw），俯仰（pitch）和橫滾（roll）[34]。 在右手坐標系中定義旋轉，其中x軸指向飛機方向，y軸指向右邊，z軸指向下方。 圍繞z軸的旋轉稱為偏航，圍繞y軸的旋轉稱為俯仰，而圍繞x軸的旋轉稱為滾動。 所有旋轉均沿順時針方向指定。
如果我們將坐標中心與攝影機位置對齊，將z軸指向地球的重心，將x軸指向地理北極，則可以使用所描述的模型指定地理空間中的攝影機方向。 在這種情況下，圍繞z軸的旋轉表示方位角。 最后，為了定義視頻幀的地理參考，即在捕獲幀時的攝像機視點，我們使用表1中指定的七個參數。
表1.用於在地理空間中指定攝像機視點的一組參數。
Clockwise angle between the north direction and current camera view direction:北方方向與當前相機查看方向之間的順時針角度
Angle between the horizon and current camera view direction：水平線和當前相機查看方向之間的角度
Right side tilt：右側傾斜
Horizontal field-of-view：水平視場
提議的視頻地理配准模型是通用的，即，它不依賴於地理空間視頻的來源。 它既可以應用於固定和PTZ監控攝像機，也可以應用於配備GPS和方向傳感器的移動電話，也可以應用於安裝在無人機或車輛上的攝像機等。
當涉及對視頻監控攝像機框架進行地理配准時，所有攝像機的主要特點是它們被固定在固定的位置。 結果，攝像機視點的前三個參數（lati, loni, alti）是恆定的，並且在攝像機安裝期間確定。 對於固定攝像機，其他四個參數也是恆定的，而對於PTZ攝像機，可以從本地攝像機參數，例如，平移，傾斜和縮放 確定它們（pan, tilt, zoom）[31]。 這意味着對攝像機攝像頭視頻進行地理配准是確定攝像機位置，初始方向和視野的一次性任務，即對攝像機本身進行地理配准。
視頻幀地理配准的圖形化圖示如圖1所示。除了觀察者視點模型參數的圖示以外，圖1還描述了使用虛構的“圖片平面”(picture plane)進行攝像機操作的原理。 通過將現實世界坐標（lati，loni，alti）投影到圖片平面（ui，vi）上來形成圖像。 在數字攝影中，輸出結果是以像素為單位的一定寬度（w）和高度（h）的數字圖像，因此圖像坐標（ui，vi）也可以以像素表示。 鏈接現實世界的大地坐標和圖像像素坐標是所提出的估算相機地理參考方法的基石。 在下一節中，我們將進一步研究它們之間的關系。
圖1.使用觀察者視圖模型的七個參數對視頻幀進行地理配准的示意圖。
4.相機地理參考的估計
提出的攝像機地理配准方法依賴於將視頻中的不同點與其各自的3D大地坐標相匹配。 為了獲取這些坐標，我們依靠將這些點與地理正射影像圖上的位置進行匹配，並從感興趣區域的數字高程模型（DEM）中讀取它們的高度。 獲取大地坐標的其他方法也是可能的。
匹配足夠數量的不同點后，將應用Levenberg-Marquardt（列文伯格算法）迭代優化[7,8]來找到最合適的視頻地理參考，即攝像機的位置和方向。 過程精度的度量是所選點的輸入坐標與獲得的圖像坐標之間的最小平方誤差的總和。 由於圖像坐標是以像素為單位指定的，因此該誤差表示對估算的地理參考的“視覺質量”(visual quality)的度量。
該方法可同時應用於固定攝像機和PTZ攝像機。首先，我們將討論固定攝像機，然后介紹所需的修改，以便將該方法應用於PTZ攝像機。
4.1 固定相機
為了更好地理解所提出方法的輸入和輸出，讓我們再次考慮圖1所示的示例。該方法的輸出是攝影機地理參考，即參數lat，lon，alt，azimuth(方位角)，pitch(俯仰)和roll(橫滾)。 最后一個參數fov也可以估算，或者可以預先測量[35]，並在此過程中取為常數。 方法輸入是一定數量（i = 1，...，N）的成對世界（lati，loni，alti）和圖像坐標（ui，vi）。 由於我們依靠迭代優化，因此我們還需要一些初始地理參考來啟動此過程，還需要對攝像機的位置和方向進行一些粗略的估算。 最后，我們需要相機的數學模型，該模型將使用當前的地理參考（lat, lon, alt, azimuth, pitch, roll, fov）將輸入的3D大地坐標（lati，loni，alti）轉換為估計的圖像坐標（ui，vi）。 為此，我們采用了先前描述的pinhole camera model（請參見公式（1）–（3））。
由於針孔模型在笛卡爾空間中使用3D世界坐標進行操作，因此必須在內部將輸入大地坐標轉換為適當的笛卡爾形式。 為了確保我們的方法在地球上任何地方的統一適用性，我們使用了通過大地到地心變換獲得的地心坐標[36]：
其中參數a代表半長軸（赤道半徑），參數f代表橢圓體的扁平度（對於WGS84橢圓體a = 6,378,137 m和f = 1 / 298.257223563）。
應用針孔相機模型的下一步是使用觀察者視點模型的七個參數來指定相機的外部（[R t] T）和固有（K）參數。 相機固有矩陣（K）的參數fu，fv，cu和cv使用fov參數以及以像素為單位的幀的寬度（w）和高度（h）進行計算：
旋轉矩陣R使用azimuth(方位角)，pitch(俯仰)和roll(橫滾) 參數計算，而lat和lon用於旋轉坐標系：
最后，根據地心相機位置（通過轉換lat，lon和alt參數以及先前計算的旋轉矩陣R來計算平移矢量t）：
一旦我們初始化了針孔模型參數並將輸入的大地坐標（lati，loni，alti）轉換為地心坐標（xi，yi，zi），就可以將這些坐標轉換為圖像坐標（ui，vi）。 在獲得的圖像坐標（ui，vi）和輸入即期望的圖像坐標（ui，vi）之間計算出在處理過程中最小化的均方誤差：
注：
表示使得似然函數取得最小值時β的取值
在迭代過程的每個循環中，都對地理參考參數β進行了修改，以減少誤差。 當誤差降到某個特定值以下或所有參數的增量降到某個特定值以下時，該過程結束。 我們應該強調，如果fov參數是預先確定的，則可以將其排除在優化過程之外。
為了開始迭代過程，有必要定義估計參數的初始值，即攝像機地理參考。 在一個函數只有一個最小值的情況下，初始值不會影響結果。 但是，如果存在多個局部最小值，則初始值應接近預期的解。 當應用於我們的案例時，考慮到轉換的復雜性，這意味着有必要提供攝像機位置和方向的近似值，即大致確定攝像機的地理參考。
最后，讓我們總結一下執行固定攝像機地理配准方法的步驟清單：
1.設置初始地理參考：可以通過使用GPS測量攝像機位置或從地圖中讀取來獲得初始地理參考。可以使用羅盤（方位角參數）或通過將周圍物體與地圖匹配來大致估計相機方向。 2.識別視頻中的不同點：應從視頻中識別出大約十個或更均勻分布的點，並記錄其圖像坐標。選定的點不應隨時間變化，而應位於地面上（如果可以提供點的高度，則這不是強制性的）。
3.獲取識別點的3D大地坐標：可以使用高分辨率正射影像圖和DEM獲得大地坐標。在沒有地圖的情況下，也可以使用差分GPS測量那些坐標。
4.使用迭代過程細化地理參考參數：進行迭代優化，以找到在識別出的圖像坐標和通過轉換獲得的圖像坐標之間均方誤差最小的地理參考參數。如果優化被鎖定在局部最小值中，並且估計誤差太大，則應使用新的初始地理參考和可能的新點集重新啟動該過程。
5.驗證獲得的地理參考：估計最佳地理參考后，可以通過觀察輸入坐標和獲得的圖像坐標之間的差異來應用和檢驗。
4.2 PTZ相機
PTZ是Pan-Tilt-Zoom的首字母縮寫，在視頻監控術語中表示一類攝像機，可以水平旋轉（pan）和垂直旋轉（tilt），並且可以通過更改縮放級別來改變視場。 Milosavljevi介紹了一種方法，該方法用於根據當前相對攝像機方向（pan【水平】 和 tilt【俯仰】）和當水平和平移參數為0（azimuth0, pitch0, and roll0)時，從當前相對攝像機方向（pan水平和tilt俯仰）和絕對攝像機方向來計算絕對攝像機方向（方位）Milosavljevi´c et al. [31].。 關於前面關於初始化針孔模型參數的討論，唯一的區別是旋轉矩陣R的計算方式：
由於外部相機矩陣現在取決於pan(水平)和tilt(傾斜)參數，並且fov參數不再固定，因此必須將它們以及大地測量和圖像坐標包括在內作為輸入量度（pani，tliti，fovi）。 因此，現在將公式（10）中定義的優化參數β和變換f修改為：
由於不再估計當前攝像機的視場（fovi），因此有必要根據變焦參數的相應值來確定它。 可以通過分析[35]進行適當的轉換，也可以根據經驗對特定相機模型進行測量並保存在查找表中。 一個UML活動圖說明了PTZ攝像機地理配准的過程，如圖2所示。
set initial georeference 設置初始地理參考
direct PTZ camera and obtain pan and tilt parameters 定向PTZ攝像機並獲取平移和傾斜參數
Identify characteristic points in the current view 識別當前視圖中的特征點
Obtain 3D geodetic coordinates for the identified points 獲取已識別點的3D大地坐標
All distinct PTZ views are covered? 是否涵蓋所有不同的PTZ視圖？
Estimate georeference parameters using iterative process 使用迭代過程估算地理參考參數
Is estinated georeference satisfying? 估計的地理參考是否令人滿意？
圖2.一個UML活動圖，它說明了PTZ攝像機地理配准的過程。
5.實施和實驗結果
為了驗證所提出的估算方法，我們為地理配准監視攝像機實施了名為“攝像機校准”(Camera Calibration for georeferencing surveillance cameras)的應用程序。 該應用程序支持固定和PTZ網絡（即IP）攝像機。 視頻檢索是使用HTTP協議完成的，因此對於固定攝像機，只需輸入用於檢索當前視頻幀的URL。 （可選）可以輸入用戶名和密碼來訪問相機API。 對於PTZ攝像機，除了視頻幀外，還需要另外檢索當前的平移，傾斜和縮放值。 目前，我們僅通過VAPIX協議支持AXIS PTZ攝像機，但可以進行進一步升級。
除了依賴於相機之外，該應用程序還依賴於Web地圖服務（WMS）的使用來檢索相機周圍區域的正射影像圖，從而檢索所選點的高程。 這就是應用程序依賴兩個標准WMS請求的原因：GetMap和GetFeatureInfo。 顧名思義，GetMap用於檢索請求區域的地理參考圖像（地圖），而GetFeatureInfo用於檢索該地圖上特定點的其他信息（在本例中為高程）。
該應用程序是使用Qt框架版本4.8.5在C ++中實現的。用戶界面（UI）如圖3所示，它分為三個獨立的部分（窗口）。主窗口用於控制應用程序。在這里，用戶可以設置WMS服務器和攝像機參數，輸入初始地理參考，開始地理參考估計並查看計算結果。第二部分是攝像機視圖，用於顯示視頻和其中標識的點，還用於標識點，顯示相應的輸出點，並且在PTZ攝像機的情況下，它允許用戶控制攝像機。最后，第三部分是地圖視圖，該地圖視圖用於顯示和導航感興趣區域的正射影像，從而輸入和顯示識別的點。圖3描繪了如何在使用15點的相機地理配准的實際場景中使用應用程序的不同部分。獲得的地理參考的結果在攝像機視圖中以藍色點和紅色輸入點表示。為了說明使用所提出的方法實現的精度，圖4描繪了我們基於GIS的視頻監控解決方案[10]的投影視頻模式下顯示的對應攝像機輸出。圖5顯示了以相同方式描述的地理參考的其他幾個示例。這些示例的地理參考使用像素大小為0.1 m的thophoto地圖和地面采樣距離（GSD）為1 m的DEM進行。
圖3.用於地理配准監視攝像機的Camera Calibration應用程序的用戶界面。
圖4.使用Camera Calibration應用程序進行地理配准的結果，顯示在基於GIS的視頻監控解決方案的投影視頻模式中
圖5.使用攝像機校准應用程序獲得的示例地理參考，顯示在我們基於GIS的視頻監控解決方案的投影視頻模式中[10]
四重迭代優化。 該技術是非線性最小二乘問題的一種標准方法，可以認為是最速下降法和高斯-牛頓法的組合[37]。 為了在我們的應用程序中實現它，我們使用了一個名為levmar [38]的開源C / C ++庫。 levmar的優勢之一是它支持使用解析和近似雅可比矩陣。 由於我們用於將輸入3D大地坐標映射到輸出圖像坐標的轉換相當復雜，因此尋找解析Jacobian並不是一件容易的事。 這就是為什么我們依靠levmar的特征使用有限差分法近似Jacobian的原因。
levmar庫提供了幾個接口函數，這些函數提供無約束和約束優化，單精度和雙精度的使用，以及如前所述的解析和近似雅可比行列式。 在我們的實現中，我們使用了dlevmar_dif函數，該函數提供雙精度，無約束的優化以及近似雅可比行列式。 相應的輸入參數的完整描述在[38]中給出，但是通常，它需要一個初始參數的估計值，測量向量，一個可選的指向附加數據的指針以及一個指向實現適當轉換的函數的指針。 在我們的情況下，初始參數對應於初始地理參考，對一組輸入視頻坐標的測量，而其他數據則包含相應的3D大地坐標，幀寬度（w）和高度（h），以及可選的fov，pan ，以及每次測量的傾斜值。
最后，為了完成本概述，讓我們考慮實現的應用程序的體系結構。相應的UML類圖如圖6所示。整個應用程序圍繞單例類AppManager構建，該類用於其他類之間的通信。每個類都有三個小部件類（MainWidget，CameraWidget和MapWidget）。前面描述的UI部件。 CameraManager類代表指向監視攝像機的接口，而WMSManager類代表指向WMS服務器的接口。最后，應用程序最重要的部分封裝在Calibration抽象類及其派生類中。當包含fov時，Class CalibrationWithFOV類可實現固定攝像機的完整地理參考估計。同樣，如果已知fov並將其從估計中排除，則將CalibrationNoFOV類用於固定攝像機。最后，使用CalibrationPTZ估算PTZ攝像機的地理參考。這三個子類包含每個指定子域的特定轉換，而抽象超類為該過程提供一個公共接口並保存必要的數據。
圖6.使用UML類圖說明了Camera Calibration應用程序的體系結構。
准確性分析
圖4和5所示的示例為我們提供了一些有關估計攝像機地理參考的可達到精度的想法。 但是，由於我們缺乏基本的真值，因此很難確定估計值之間的差異。 另外，知道確定世界和圖像坐標的精度如何影響結果將是很有趣的。
為了應對特定的挑戰，我們開發了一系列綜合實驗，將3D世界和圖像坐標的測量誤差與估計位置，方向和視野中的誤差相關聯。 實驗使用以下方法進行：
1.創建地面真實數據集：基於包含15個大地坐標和圖像坐標之間映射關系的真實示例，我們估算了相機的地理參考，即相機的位置，方向和視野。 然后，我們使用獲得的地理參考對輸入的大地坐標進行轉換，並獲得輸出圖像坐標。 這些圖像坐標，以及輸入的大地坐標和所選的地理參考，代表了我們理想的零誤差數據集，該數據集將被視為所有其他估計的基礎事實。
2.添加變化並估計地理參考：為了模擬獲取大地測量和圖像坐標的過程中的錯誤，我們將某個范圍（正負變化量）中隨機生成的值添加到輸入坐標中。 為了模擬地圖讀取中的錯誤，我們生成了以米為單位的變化，並將其添加到根據地面真實大地坐標計算得出的地心坐標中。 為了模擬圖像坐標讀取中的錯誤，我們生成了像素變化，並將其添加到地面真實圖像坐標中。 以這種方式創建樣本數據集后，我們將應用估算方法來確定最合適的地理參考。 記錄參數之間差異的平方.
3.平均結果：由於單次測量嚴重依賴於所選取的隨機值，為了平均結果並獲得誤差的估計，我們基於累積的平方差應用了10,000次這樣的測量，因此我們計算了位置的標准偏差（ （以米為單位），方向和視野（以度為單位）。
4.繪制結果圖：為了可視化趨勢，我們應用了先前的測量方法，以測量地心坐標的變化范圍為0至2 m，步長為0.1 m。 0、5、10、15和20像素的圖像坐標變化為
准確性分析的結果顯示在圖7–10中。圖7描述了當估計視場（a）和預定視場時（b），在估計攝像機位置時的誤差。可以看出，估計過程中的一個附加參數使定位誤差加倍。以類似的形式，圖8描述了估計攝像機方向時的誤差。在這種情況下，再次估計視野會導致更大的誤差，但在這種情況下，差異幾乎沒有意義。下圖顯示了相機視野的估計誤差（圖9）。最后，圖10表示在估計視場（a）和預先確定視場（b）時，根據圖像坐標的標准偏差表示的估計過程誤差。可以假定，將視場作為附加的估計參數會導致較小的總體過程誤差，但是令人驚訝的是，這種差異很難引起注意。
提出的結果得出的結論是，應盡可能考慮獨立准確地確定攝像機的視場。第二個有趣的發現是，當地圖讀取或在0.3m以上時，最多5個像素的輸入圖像坐標的變化幾乎不會影響准確性。
圖7
圖7.對於世界坐標的不同變化，估計的攝像機位置的標准偏差：（a）估算視場參數時，（b）預定視場時。 不同的序列描述了輸入圖像坐標（σ值）的不同變化。
圖8.對於世界坐標的不同變化，估計的照相機方向的標准偏差：（a）估計視場參數時，（b）預定視場時。 不同的序列描述了輸入圖像坐標（σ值）的不同變化。
圖9.對於世界坐標的不同變化，估計的攝像機視場的標准偏差。不同的序列描述了輸入圖像坐標（σ值）的不同變化。
圖10.針對世界坐標的不同變化進行優化后的圖像坐標的標准偏差：（a）估算視場參數時，（b）預定視場時。不同的序列描述了輸入圖像坐標（σ值）的不同變化。
6.結論
視頻監視和3D GIS的集成為傳統監視系統無法實現的新機遇鋪平了道路[20]。獲取視頻中每個點的地理位置或將PTZ攝像機定向到給定地理位置的能力取決於所提供視頻地理參考的質量。由於視頻代表一連串圖像（幀），因此要對其進行地理配准，我們需要知道確切的參數，這些參數確定在捕獲每一幀時的攝像機視圖。 Milosavljevi´c等人先前已經定義了一組適當的七個參數，用於指定攝像機的位置，方向和視野。 [31]作為觀察者視點模型。由於基於GIS的視頻監視依賴於視頻幀與虛擬3D GIS場景的重疊，因此地理參考參數中即使很小的誤差也變得顯而易見。因此，有必要准確地確定相機的地理參考。盡管可以測量這些參數，但是所需的過程很復雜，並且結果並不總是保證令人滿意的精度。本文提出的研究目的是通過開發一種間接估計這些參數的方法來提出另一種選擇。
所提出的方法基於將可以在視頻中識別的某些靜態點特征的圖像坐標與從高分辨率正射照片和DEM獲得的3D地理位置配對。 一旦我們配對了足夠均勻的分布點，便應用Levenberg-Marquardt迭代優化算法來找到最合適的攝像機地理參考，即估算攝像機的位置和方向。 為此，該過程試圖使輸入圖像坐標與使用當前地理參考參數轉換輸入3D大地坐標獲得的圖像坐標之間的最小二乘誤差之和最小。
所提出的方法可用於估計固定攝像機和PTZ攝像機的地理參考。 對於固定攝像機，我們有一個更簡單的情況，其中視頻幀的地理參考是恆定的，可以視為攝像機的地理參考。 另一方面，PTZ攝像機引入了“動態”視頻幀地理參考，這取決於平移，傾斜和縮放的當前值。 在那種情況下，攝像機的地理參考值等於視頻幀的地理參考值，其中平移和傾斜設置為零。 當前幀的地理參考值是根據攝影機的地理參考值和當前的平移和傾斜值計算得出的。 在本文中，我們還討論了如何將該方法應用於估算PTZ攝像機的地理參考。
基於提出的方法，我們實現了對固定和PTZ監控攝像機進行地理配准的應用程序。 該應用程序不僅提供了對所描述方法的驗證，而且證明了在分配的任務中非常有效。 提出的方法的優點可以總結如下：
•與測量值相比，生成的地理參考的精度非常高
•簡化的地理配准程序（無需離開辦公室）
•即使在無法進行現場測量的情況下（例如，遙遠的位置，受限的區域），也能夠確定相機的地理參考
•當無法測量固定攝像機的視野時（例如，預先安裝的攝像機），可以估算固定攝像機的視野
•支持PTZ攝像機
最后，我們要強調的是，即使這些結果令人滿意，該方法還是依賴於人類的，因此，它具有很大的自動化潛力。 自動識別和配對點的能力將是一項巨大的進步，可能會導致視頻和GIS的集成超越視頻監控。