實現OpenCV的視頻圖像處理


嵌入式ARM及ARM-Linux操作系統已廣泛應用於工業控制、通信、醫療儀器等各個領域。ARM設計了大量高性能、廉價、耗能低的RISC處理器、相關技術及軟件。技術具有性能高、成本低和能耗省的特點。適用於多種領域,比如嵌入控制、消費/教育類多媒體、DSP和移動式應用等。 許多公共場所和居民小區等地點都安裝了視頻監控系統,因而視頻監控與顯示終端的應用越來越廣泛。

本文以嵌入式ARM作為硬件核心,ARM異步響應方式異步響應方式ARM也是一種非平衡數據鏈路操作方式,與NRM不同的是,ARM下的傳輸過程由從站啟動。從站主動發送給主站的一個或一組幀中可包含有信息,也可以是僅以控制為目的而發的幀。在這種操作方式下,由從站來控制超時和重發。該方式對采用輪詢方式的多站鏈路來說是必不可少的。采用上述平台具有以下優點:(1)ARM-Linux與OpenCV庫同為開源的免費軟件,開發者不僅可以根據需要修改源代碼來提高軟件開發的靈活性,而且可以節約開發成本;(2) OpenCV庫提供了許多視頻圖像處理的函數,因此開發者不需要花費大量的時間自己編寫,可以提高軟件的開發效率;(3)OpenCV庫中大部分函數都經過匯編優化,基於OpenCV的程序運行起來有更高的效率。

視頻監控與顯示系統的硬件和軟件結構如圖1所示。

硬件由三部分組成:(1)攝像頭。負責采集原始視頻流數據;(2)ARM開發板。負責處理原始的視頻流數據;(3)LCD液晶顯示器。負責圖像數據的顯示。軟件部分也由三部分組成,這三部分運行在ARM-Liunx操作系統下:(1)攝像頭驅動程序;(2)攝像頭應用程序;(3)LCD顯示驅動程序。

1 嵌入式系統應用程序開發方法

1.1 硬件平台

嵌入式系統開發平台由主機PC機和目標機ARM板組成。

Pentium 4的設計目標是適應更快的時鍾速度,因為消費者開始依據更高的時鍾購買計算機,是Intel生產的第7代x86微處理器,並且是繼1995年出品的Pentium Pro之后的第一款重新設計過的處理器,首款產品代碼為:WillAMEtte,擁有1.4GHz左右的內核時鍾,並使用Socket 423腳位架構,不同於Pentium II、Pentium III和各種Celeron處理器,因為是全新設計的產品,所以與Pentium Pro的關聯很小。值得注意的是,Pentium 4有着非常快速到400MHz的前端總線,之后更有提升到533MHz、800MHz。它其實是一個為100MHz的四條並列總線 ,因此理論上它可以傳送比一般總線多四倍的容量,所以號稱有400MHz的速度。

所以主機PC要求CPU為Pentium 4或以上,擁有一個25針的並口、一個9針的RS-232串口和一個20GB的硬盤。ARM板是由深圳市武耀博德信息技術有限公司生產的270-S平台。

1.2 軟件開發平台

軟件程序的開發是在PC機上完成的,PC機上的開發環境是Redhat Linux 9.0。Redhat提供了許多與程序開發有關的工具,還要在PC機的Linux操作系統下安裝QT和OpenCV軟件工具包。

(1)QT軟件包。包括QT/X11 2.3.2庫、QT/Embedded 2.3.2庫、Qtopia 1.7.0庫、uic工具、qmake工具、tmake工具和QT designer工具等。

(2)OpenCV軟件包。包括Libhighgui.so.0.9.7、Libhighgui.la、Libcxcore.so.0.9.7和Libcxcore.la等主要的庫。

在開發攝像頭應用程序之前,要把u-boot、ARM-Linux操作系統和外部設備的驅動程序移植進入ARM目標板270-S中,這樣主機PC上開發的各類應用程序軟件才能在ARM目標板上運行。

2 攝像頭應用程序的構架與關鍵技術

2.1 攝像頭應用程序的結構

應用程序由兩部分構成:

(1)在ARM-Linux QT/Qtopia圖形操作系統下的窗口界面設計(即人機界面的設計)。

(2)對視頻流數據進行處理,並把處理完成的圖像數據顯示在QT/Qtopia圖形界面下。

攝像頭應用程序結構圖與庫函數的調用關系如圖2所示。

2.2 攝像頭應用程序的關鍵技術

本設計應用程序以OpenCV庫和QT庫為核心,負責處理視頻數據與圖像顯示。

2.2.1 OpenCV簡介

OpenCV於1999年由Intel建立,現在由Willow Garage提供支持。OpenCV是一個基於BSD許可證授權(開源)發行的跨平台計算機視覺庫,可以運行在Linux、Windows和Mac OS操作系統上。它輕量級而且高效——由一系列 C 函數和少量 C++ 類構成,同時提供了Python、Ruby、MATLAB等語言的接口,實現了圖像處理和計算機視覺方面的很多通用算法。

2.2.2 嵌入式QT與Qtopia簡介

QT是跨平台C++圖形用戶界面工具。由於QT采用面向對象開發,具有跨多平台、界面設計美觀等特點,得到廣泛應用。因為KDE等項目使用QT作為支持庫,所以有許多基於X-Windows的PC機上的應用程序可以非常方便地移植到QT上。

Qtopia 是Trolltech 公司為采用嵌入式Linux 操作系統的消費電子設備而開發的綜合應用平台, Qtopia包含完整的應用層、靈活的用戶界面、窗口操作系統、應用程序啟動程序以及開發框架。 擁有窗口操作系統,游戲和多媒體,工作輔助應用程序,同步框架,PIM應用程序,Internet應用程序,開發環境,輸入法 Java集成,本地化支持,個性化選項,無線支持等特點。

3 QT窗體的設計方法

在QT編程中,有兩種設計程序窗體(即人機界面)的方法。第一種方法完全采用面向對象的C++編程語言實現,開發者需要手工編寫所有的代碼;另一種是采用編寫代碼與QT Designer設計工具相結合的方法。QT Designer工具會幫助開發者完成大部分繪制窗體的工作。本文攝像頭應用程序的設計采用第二種方法。QT Designer是QT系統專用的窗口界面開發工具,它不包含任何編譯器,而僅僅提供一個可視化界面編輯器。QT Designer將編輯完成的窗體界面通過XML保存為。ui文件,然后由專用的uic界面編譯器將其轉換為標准C++的源文件。

4 視頻圖像處理與顯示

視頻圖像處理與顯示的過程如圖3所示。

其過程主要由四步組成

(1)初始化視頻結構

CvCapture*capture=0;

capture=cvCaptureFromCAM(-1);

cvSetCaptureProperty

(capture,CV_CAP_PROP_frame_WIDTH,320);

cvSetCaptureProperty

(capture,CV_CAP_PROP_FRAME_HEIGHT,240);

在OpenCV應用程序中都要定義一個CvCapture類型的指針變量capture。CvCapture類是視頻獲取結構,它沒有公共接口,各類圖像數據存儲位置的頭地址都可以賦值給指針變量capture。在capture指針被賦值之后,可以作為其他圖像處理函數的參數使用,完成各種圖像處理功能。

OpenCV庫中用CvCapture*cvCaptureFromCAM(int index)函數對攝像頭分配視頻圖像數據流和初始化CvCapture結構。函數參數index為攝像頭索引值。如果系統只有一個攝像頭或者使用哪個攝像頭都無所謂,則index的值為-1。

對視頻數據結構capture設置參數。用到的OpenCV的庫函數為int cvSetCaptureProperty。參數capture指定哪個視頻獲取結構需要設置參數;property_id為屬性標識符,由幾個固定值組成,用來決定設置哪個參數。

(2)開啟定時器后抓取圖像幀

關鍵代碼:

QTimer CameraTimer->start(50,false);

int cvGrabFrame(capture);

IplImage*frame=cvRetrieveFrame(capture);

如果視頻結構初始化成功,則開啟由QT庫提供的QTimer定時器。代碼表示為:CameraTimer->start(50,false)。參數“50”表示QT定時器每隔50 ms觸發一次。

該槽函數抓取一幀圖像的方法為:首先調用OpenCV庫函數int cvGrabFrame(CvCapture*capture);從攝像頭實時采集的視頻流中快速抓取一幀圖像數據,並且把這幀圖像數據存入ARM板的緩存中,這幀圖像數據對於用戶是不可見的。采用這種機制,是因為cvGrabFrame()可以把一幀圖像數據以最快的速度存入緩存中[1]。

接下來,調用OpenCV庫函數cvRetrieveFrame()。這個函數把剛剛通過cvGrabFrame()抓取的一幀圖像數據從內部緩存重新讀取出來。具體代碼為:IplImage*frame=cvRetrieveFrame(capture)。事實上在調用這個函數后,OpenCV內部會完成多步復雜的圖像處理的工作。

(3)視頻格式的轉化

關鍵代碼:

for(int y=0;y<height;y++)

{  for(int x=0; x<width; x++)

{  for(int i=0;i<3;i++)

{*dst++=*frame->imageData++;}

*dst++=0;}}

由於cvRetrieveFrame()重新讀取到的一幀圖像數據是IplImage類型,IplImage類型是24位真彩的三通道BGR(BGR24),而QT庫內與圖像處理與顯示相關的函數只支持對1 bit、8 bit或者32 bit的位圖進行處理。因此為了使IplImage類型幀圖像能夠在QT/Qtopia圖像界面中顯示,又不降低視頻圖像質量,需要通過程序將24位(BRG24)幀圖像轉化為32位(BRG32)幀圖像。

BGR32每一個像素點除了擁有與BGR24相同的紅綠藍三種顏色,每種顏色8 bit外,要還在這三種顏色共24 bit的數據后面添加一組長度為8 bit的0數據。因此,圖像格式轉化的方法應該在原始的24位圖像數據中每隔三個字節加入一個字節的0。下列代碼為BGR24->BGR32圖像中一個點的轉化程序,其中frame->imageData為原始圖像的指針,dst為轉化后圖像的指針。

for(int i=0;i<3;i++)

{*dst++=*frame->imageData++;}

*dst++=0;

(4)將視頻圖像數據顯示在QT/Qtopia圖形界面

關鍵代碼:

QImage image=QImage((uchar*)image32,frame->width,

frame->height,32,NULL,0,QImage::LittleEndian);

QPainter display(picCamera);

display.drawImage(0,0,image);

首先調用QImage構造函數把上一步轉換好的32位(BGR32)圖像數據初始化為QT圖像數據格式;然后調用QT的低水平繪制類QPainter的構造函數對主窗口的顯示器組建初始化;初始化結束后將調用QPainter類的drawImage成員函數,把通過QImage類轉換過的圖像數據image繪制在主窗體的顯示器中,代碼為QPainter.drawImage(0,0,image)。

ARM平台的手持移動監控與顯示終端設備已經廣泛應用於社會的各個領域。OpenCV圖像處理庫以其開源性、高效性、靈活性幫助開發者大幅度地縮減開發周期。ARM-Linux QT/Qtopia與其他ARM端的圖像界面操作系統相比較有免費、移植性好、內核精簡、更加穩定的特點。本設計以OpenCV圖像處理庫為核心,在ARM Linux QT/Qtopia圖形界面操作系統下實現攝像頭顯示的應用程序,有非常好的實用性,可以廣泛應用於各類ARM終端設備中。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM