WPF中在攝像頭視頻上疊加控件的解決方案


一、視頻呈現

  前段時間,在一個wpf的項目中需要實時顯示ip攝像頭,對此的解決方案想必大家都應該知道很多。在winform中,我們可以將一個控件(一般用panel或者pictruebox)的句柄丟給攝像頭的sdk以實現該功能,而在wpf中我們同樣可以使用該方案快速實現。

  我們以海康平台為例,海康的sdk就需要我們傳遞一個控件的句柄,winform中可以直接使用控件的handle屬性來獲取句柄,而在wpf中我們則有兩種方法:

  1、將WindowsFormsHost作為容器在內部嵌套一個winform控件,比如panel,這樣的話就和winform中一樣了;

  2、直接使用    ((HwndSource)PresentationSource.FromVisual(你的wpf元素)).Handle;  獲取句柄;

 


 

二、疊加控件

  簡單的視頻展示使用一中的方案就可以解決,但我接手的項目是一個將攝像頭視頻用以AR處理的程序,界面上需要展示很多圖標和信息欄,最重要的是整個主程序的大背景就是實時的攝像頭畫面,除此之外還有各種子窗口,子窗口中也要用到視頻,這樣就必然涉及到在視頻畫面上疊加控件的難題。  

  1、使用Microsoft.DwayneNeed

 

  之所以說是難題,是微軟也在試圖解決卻也沒有給出真正完美的解決方案。這個難題就是著名的空域問題(airspace issues)。這里有一份園友的隨筆鏈接,主要介紹的是微軟目前的解決方案:http://www.cnblogs.com/sela/p/4948102.html,這套方案在我實際使用中雖然可以正常的在視頻上疊加控件,但在上方拖動控件則非常卡頓,通常的情況就是鼠標已經移動到了右側,被拖控件還在左側依依不舍,即便是release版本也無濟於事,這套方案最終流產。 

  

  2、將視頻流轉碼,使用d3d渲染為ImageSource

  此方案比較麻煩,需要自己控制轉碼過程,這里有一篇關於此方案的文章鏈接:http://blog.csdn.net/yangyy9611/article/details/17464133,我這里准備了一份demo(非本人編寫):https://pan.baidu.com/s/1eSABfma,以下是demo運行的截圖:

       

 

  大致的原理就是利用sdk的回調機制逐幀獲取碼流,再使用direct進行渲染;

  此方案除了代碼量相對多點之外還存在和1中同樣的問題,控件拖動時依然卡頓,各位園友不知有何好的解決辦法呢。

 

 

  3、最終的解決方案

  在1和2都達不到理想中的要求時,我突然意識到一個問題,為什么會出現空域問題?那是因為winform和wpf的渲染方式不同,如果將他們統一,問題是不是解決了?只能說解決了一半,如果需要疊加的控件是規規矩矩的矩形,換句話說,不需要透明通道的那些控件,則完全可以使用這套方案,但是像那些有圓角的控件還需要另外想辦法,我們先說前者吧,簡單的代碼如下:

<wfi:WindowsFormsHost>
    <wf:Panel/>
</wfi:WindowsFormsHost>
<wfi:WindowsFormsHost Width="114" Height="152">
  <ElementHost>
    <Border Width="114" Height="152"/>
  </ElementHost>
</wfi:WindowsFormsHost>

 

  其實就是在 WindowsFormsHost再套一個ElementHost,現在無論是視頻的panel還是在其上方的border控件由於都被WindowsFormsHost所包含,所以border在渲染時不會被覆蓋到底層了。

  下面再談談我個人認為最難的不規則控件的疊加方式,如果你能在wpf應用中通過代碼讓WindowsFormsHost背景透明,那么你不需要再繼續往下看了,請你聯系我,我認為這才是最好的解決方案,而接下來我要說的方案可能會讓你們不屑,甚至嘲笑。

  我的辦法很簡單,就是使用兩個窗口,底部窗口單獨顯示視頻,並設置為主窗口,頂部窗口設置AllowsTransparency="True",ShowInTaskbar="False",在顯示頂部窗口時使用showdialog而不是show,這樣能夠保證用戶永遠在頂部窗口上操作,到不了視頻窗口。針對子窗口的情況,雖然可以用popup來模擬上述過程,但popup也有很多問題,他默認是置頂的,有時會給用戶帶來困惑,比如兩個子窗口重疊時,明明帶視頻的那個窗口在底部,但由於其中的視頻部分使用的是popup來展示的,它居然會顯示在頂層窗口之上,完美實現了窗口洗牌的特效,除此之外你還需要通過特殊的偏移量才能控制popup的位置,鑒於此,我建議你單獨定制一個專門用來彈出信息的窗體,再將包含視頻的控件作為子元素傳入其中。

  最終的解決方案是結合這三種,由於主界面是個實時視頻大背景,所以任何拖動的操作都不該延遲,所以主界面用了3號解決方案,而一些子界面不涉及到在上方拖動的操作,則可以用1號方案,至於2號方案則可以用來兼容各大視頻平台,例如有些視頻平台不支持句柄的傳入,則可以使用該方案。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM