使用C#對華為的攝像頭二次開發，攝像頭是IPC攝像頭。
開發環境：
操作系統：Win10 x64專業版2004
開發工具：VS2019 16.7.2
目標平台：x86，因為要操作內存，所以要打開允許非安全代碼（項目屬性==》生成==》勾選允許不安全代碼）
首先去下載IPC SDK（點擊下載，需要華為授權賬戶。）
新建一個WPF的項目，Framework版本為4.7
把下載的sdk壓縮包中的windows\output32目錄中的HWPuSDK.dll和lib目錄中的所有文件，都復制到項目的bin/debug目錄中（和生成的exe同級），華為的這個SDK對64位支持不好，使用64位遇到不少問題，最終還是先采用32位的DLL。
項目中對圖像的手動處理，經過對比，在Emgu CV和OpenCVSharp4中采用了OpenCVSharp4，個人感覺OpenCVSharp4使用起來更簡潔方便。
項目中對視頻流的回調手動處理展示，采用WriteableBitmap（參考呂毅大神的《WPF 高性能位圖渲染 WriteableBitmap 及其高性能用法示例》），本來想采用D3D這種顯卡加速的方法，無奈沒有找到相關文章和資料，如果哪位大神有資料，還望告知一下。謝謝！
項目中引用了以下組件
在本次開發中，我們先實現自動預覽攝像頭視頻和手動對攝像頭視頻流進行處理。
因為SDK自動播放需要傳入一個控件的句柄，而WPF中窗體上所有控件的句柄都是窗體本身，所以我們還需要使用WindowsFromHost來使用Winform的一些控件來實現播放句柄的傳入。
項目中引用WindowsFromsIntegeration
在項目的MainWindow.xaml中添加三個按鈕、兩個RadioButton、一個Winform的PictureBox和一個WPF的Image控件。大致布局如下：
詳細的xaml代碼：
<Window x:Class="HuaWeiCamera.MainWindow" xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation" xmlns:d="http://schemas.microsoft.com/expression/blend/2008" xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml" xmlns:mc="http://schemas.openxmlformats.org/markup-compatibility/2006" xmlns:wf="clr-namespace:System.Windows.Forms;assembly=System.Windows.Forms" mc:Ignorable="d" WindowStartupLocation="CenterScreen" Loaded="MainWindow_OnLoaded" Title="MainWindow" Height="800" Width="1200" Closed="MainWindow_OnClosed"> <Grid Margin="0,0,2,0"> <Grid.RowDefinitions> <RowDefinition Height="60"></RowDefinition> <RowDefinition Height="*"></RowDefinition> </Grid.RowDefinitions> <WrapPanel VerticalAlignment="Center"> <StackPanel Margin="30,5,0,0" VerticalAlignment="Center"> <Button Content="預覽攝像頭" HorizontalAlignment="Center" VerticalAlignment="Center" Width="75" Height="30" Click="ButtonView_OnClick" /> <WrapPanel Margin="0,5,0,0"> <RadioButton Content="自動處理" VerticalAlignment="Center" IsChecked="True" GroupName="PlayMode" x:Name="RadioButtonAuto" /> <RadioButton Content="手動處理" VerticalAlignment="Center" GroupName="PlayMode" x:Name="RadioButtonManual" Margin="10,0,0,0" /> </WrapPanel> </StackPanel> <Button x:Name="ButtonSaveOne" Content="抓拍一張" HorizontalAlignment="Left" VerticalAlignment="Center" Margin="30,0,0,0" Width="75" Height="30" IsEnabled="False" Click="ButtonSave_OnClick" />
<Button Content="人臉抓拍" HorizontalAlignment="Left" VerticalAlignment="Center" Margin="30,0,0,0" Width="75" Height="30" /> </WrapPanel> <WrapPanel Grid.Row="1"> <WindowsFormsHost HorizontalAlignment="Center" Width="1200" Height="700" VerticalAlignment="Center" x:Name="FormsHostVideo"> <wf:PictureBox x:Name="ImagePlay"></wf:PictureBox> </WindowsFormsHost> <Image VerticalAlignment="Center" HorizontalAlignment="Center" x:Name="CanvaVideo" Stretch="Fill" Source="{Binding Path=VideoWriteableBitmap}" /> </WrapPanel> </Grid> </Window>
在App.cs中定義下日志記錄類
public partial class App : Application { public static NLog.Logger NewNLog; private void App_OnStartup(object sender, StartupEventArgs e) { DispatcherUnhandledException += App_DispatcherUnhandledException; NewNLog = NLog.LogManager.GetLogger("HuaWeiCameraLoger"); } }
根據華為的《SDC 8.0.1 SDK開發指南》，我們要實現攝像頭預覽，需要先定義以下幾個struct和enum：
sturct：PU_REAL_PLAY_INFO_S（視頻實時預覽結構體）、PU_TIME_S（時間結構體）
enum：PU_PROTOCOL_TYPE（傳輸協議類型）、PU_STREAM_TYPE（碼流類型）、PU_VIDEO_TYPE（數據流類型）、PU_MEDIA_CRYPTO_TYPE（加密類型）、PU_MEDIA_CALLBACK_TYPE（回調類型）
using System; using System.Runtime.InteropServices; using HuaWeiCamera.Enums; using HuaWeiCamera.Enums.Media; using HuaWeiCamera.Enums.Video; namespace HuaWeiCamera.Struct { /// <summary> /// 視頻實時預覽結構體,http://www.cnblogs.com/wdw984 /// </summary> [StructLayout(LayoutKind.Sequential, CharSet = CharSet.Ansi, Pack = 1)] public struct PU_REAL_PLAY_INFO_S { /// <summary> /// 設備通道號，一般為101。 /// </summary> public uint ulChannelId; /// <summary> /// 播放窗口句柄,為IntPtr.Zero表示用戶自己處理視頻數據流，不自動播放視頻流 /// </summary> public IntPtr hPlayWnd; /// <summary> /// 碼流類型,主碼流、子碼 /// </summary> public PU_STREAM_TYPE enStreamType; /// <summary> /// 流類型：視頻流、音頻流、復合流、錄 像流、元數據 /// </summary> public PU_VIDEO_TYPE enVideoType; /// <summary> /// 傳輸協議類型，UDP,TCP /// </summary> public PU_PROTOCOL_TYPE enProtocolType; /// <summary> /// 回調類型：0:RTP解密1:RTP不解密 2:Frame 3:YUV /// </summary> public PU_MEDIA_CALLBACK_TYPE enMediaCallbackType; /// <summary> /// 請求端IP，第三方平台可以不填，SDK會 自動獲取 /// </summary> [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 16)] public string szLocalIp; /// <summary> /// 是否保活 /// </summary> public bool bKeepLive; /// <summary> /// 請求預錄、錄像開始時間（本地時 間）。 /// </summary> public PU_TIME_S stStartTime; /// <summary> /// 請求預錄、錄像結束時間（本地時 間）。 /// </summary> public PU_TIME_S stEndTime; /// <summary> /// 加密類型，只支持AES加密。 /// </summary> public PU_MEDIA_CRYPTO_TYPE enMediaCryptoType; /// <summary> /// 加密密鑰 /// </summary> [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 44)] public string szMediaCrypto; /// <summary> /// szReserved[0-15]表示組播IP地址 /// szReserved[16-19]表示組播端口 /// szReserved[22]表示智能分析數據打包 格式 0:XML,1:元數據 /// szReserved[23]表示元數據請求類型，取值參考枚舉 PU_METADATA_REQUEST_TYPE_E定義 /// </summary> [MarshalAs(UnmanagedType.ByValArray, SizeConst = 32)] public byte[] szReserved; } }
namespace HuaWeiCamera.Enums { /// <summary> /// 視頻流類型,http://www.cnblogs.com/wdw984 /// </summary> public enum PU_STREAM_TYPE { /// <summary> /// 視頻主碼流 /// </summary> PU_VIDEO_MAIN_STREAM=0, /// <summary> /// 視頻子碼流 /// </summary> PU_VIDEO_SUB_STREAM1, /// <summary> /// 視頻子碼流2（VWareC01 不支持） /// </summary> PU_VIDEO_SUB_STREAM2, /// <summary> /// 視頻子碼流3（VWareC01 不支持） /// </summary> PU_VIDEO_SUB_STREAM3, /// <summary> /// 視頻子碼流4 /// </summary> PU_VIDEO_SUB_STREAM4, /// <summary> /// 視頻子碼流5 /// </summary> PU_VIDEO_SUB_STREAM5, /// <summary> /// 預留值 /// </summary> PU_VIDEO_STREAM_MAX } }
namespace HuaWeiCamera.Enums.Video { /// <summary> /// 碼流類型,http://www.cnblogs.com/wdw984 /// </summary> public enum PU_VIDEO_TYPE { /// <summary> /// 視頻流 /// </summary> PU_VIDEO_TYPE_VIDEO = 0, /// <summary> /// 音頻流 /// </summary> PU_VIDEO_TYPE_AUDIO, /// <summary> /// 復合流 /// </summary> PU_VIDEO_TYPE_MUX, /// <summary> /// 錄像流 /// </summary> PU_VIDEO_TYPE_RECORD, /// <summary> /// 元數據流 /// </summary> PU_VIDEO_TYPE_META, /// <summary> /// 視頻+元數據流 /// </summary> PU_VIDEO_TYPE_VIDEO_META, /// <summary> /// 預留值 /// </summary> PU_VIDEO_TYPE_MAX } }
namespace HuaWeiCamera.Enums { /// <summary> /// 數據傳輸類型,http://www.cnblogs.com/wdw984 /// </summary> public enum PU_PROTOCOL_TYPE { /// <summary> /// UDP /// </summary> PU_PROTOCOL_TYPE_UDP = 0, /// <summary> /// TCP /// </summary> PU_PROTOCOL_TYPE_TCP, /// <summary> /// 組播方式 /// </summary> PU_PROTOCOL_TYPE_MULTICAST, /// <summary> /// 預留值 /// </summary> PU_PROTOCOL_TYPE_MAX } }
namespace HuaWeiCamera.Enums.Media { /// <summary> /// 媒體回調類型,http://www.cnblogs.com/wdw984 /// </summary> public enum PU_MEDIA_CALLBACK_TYPE { /// <summary> /// RTP包方式 /// </summary> PU_MEDIA_CALLBACK_TYPE_RTP = 0, /// <summary> /// RTP包形式，不解密 /// </summary> PU_MEDIA_CALLBACK_TYPE_RTP_CRYPTO, /// <summary> /// 幀回調方式 /// </summary> PU_MEDIA_CALLBACK_TYPE_FRAME, /// <summary> /// YUV方式，Linux不支持 /// </summary> PU_MEDIA_CALLBACK_TYPE_YUV, /// <summary> /// 把RTP包回調給控件方處理方式，Linux不支持 /// </summary> PU_MEDIA_CALLBACK_TYPE_FOR_STORAGE, /// <summary> /// 智能元數據方式 /// </summary> PU_MEDIA_CALLBACK_TYPE_META_FRAME, /// <summary> /// 預留值 /// </summary> PU_MEDIA_CALLBACK_TYPE_MAX } }
using System.Runtime.InteropServices; namespace HuaWeiCamera.Struct { /// <summary> /// 時間結構體，http://www.cnblogs.com/wdw984 /// </summary> [StructLayout(LayoutKind.Sequential, CharSet = CharSet.Ansi, Pack = 1)] public struct PU_TIME_S { /// <summary> /// 年 /// </summary> [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 5)] public string szYear; /// <summary> /// 月 /// </summary> [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 3)] public string szMonth; /// <summary> /// 日 /// </summary> [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 3)] public string szDay; /// <summary> /// 時 /// </summary> [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 3)] public string szHour; /// <summary> /// 分 /// </summary> [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 3)] public string szMinute; /// <summary> /// 秒 /// </summary> [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 3)] public string szSecond; } }
定義一個靜態類，用來實現調用SDK和攝像頭交互（HuaWeiSDKHelper）
using System; using System.Runtime.InteropServices; using HuaWeiCamera.Enums; using HuaWeiCamera.Enums.SnapShot; using HuaWeiCamera.Struct; namespace HuaWeiCamera.Class { /// <summary> /// 華為HoloSens SDC二次開發使用，http://www.cnblogs.com/wdw984 /// </summary> public static class HuaWeiSdkHelper { private const string SdkPath= "HWPuSDK.dll"; #region 初始化和登錄 /// <summary> /// 初始化設備 /// </summary> /// <param name="ulLinkMode">0自動 1手動 3混合模式</param> /// <param name="szLocalIp">本地IP</param> /// <param name="ulLocalPort">本地端口</param> /// <returns></returns> [DllImport(SdkPath, EntryPoint = "IVS_PU_Init", CharSet = CharSet.Ansi, SetLastError = true, PreserveSig = true, CallingConvention = CallingConvention.StdCall)] public static extern bool IVS_Pu_Init(uint ulLinkMode, string szLocalIp, uint ulLocalPort); /// <summary> /// 遠程登錄設備 /// </summary> /// <param name="szLoginIp">設備IP</param> /// <param name="ulLoginPort">設備端口 6060</param> /// <param name="szUserName">登錄名 ApiAdmin</param> /// <param name="szPasswd">登錄密碼 HuaWei123</param> /// <returns></returns> [DllImport(SdkPath, EntryPoint = "IVS_PU_Login", CharSet = CharSet.Ansi, SetLastError = true, PreserveSig = true, CallingConvention = CallingConvention.StdCall)] public static extern uint IVS_PU_Login(string szLoginIp, uint ulLoginPort, string szUserName, string szPasswd); /// <summary> /// 初始化和登錄設備 /// </summary> /// <param name="sdcIp">SDC設備IP</param> /// <param name="sdcPort">SDC設備端口</param> /// <param name="sdcUser">SDC登錄用戶名</param> /// <param name="sdcPwd">SDC登錄密碼</param> /// <param name="errMsg">失敗時的錯誤信息</param> /// <param name="ulIdentifyId">登錄成功后返回登錄句柄</param> public static void InitAndLogin(string sdcIp,uint sdcPort,string sdcUser,string sdcPwd,out uint ulIdentifyId,out string errMsg) { ulIdentifyId = 0; errMsg = ""; //要開啟TLS的情況時：初始化調用IVS_PU_InitEx接口，登錄調用IVS_PU_Login 接口時端口號設置為6061 if (!IVS_Pu_Init(1, "192.168.2.144", 6060)) { errMsg=($"設備初始化失敗，{GetLastErrorInfo()}"); return; } ulIdentifyId = IVS_PU_Login(sdcIp, sdcPort, sdcUser, sdcPwd); if (ulIdentifyId == 0) { errMsg=$"設備登錄失敗，{GetLastErrorInfo()}"; } } #endregion #region 預覽相關 /// <summary> /// 實時預覽 /// </summary> /// <param name="ulIdentifyId">登錄成功后返回的用戶編號</param> /// <param name="pstRealPlayInfo">播放結構體</param> /// <param name="fRealDataCallBack">回調實現播放</param> /// <param name="pUsrData">傳入碼流數據 回調函數作為參數</param> /// <returns></returns> [DllImport(SdkPath, EntryPoint = "IVS_PU_RealPlay")] public static extern uint IVS_PU_RealPlay(uint ulIdentifyID, PU_REAL_PLAY_INFO_S[] pstRealPlayInfo, PfRealDataCallBack fRealDataCallBack, ref IntPtr pUsrData); public delegate void PfRealDataCallBack(IntPtr szBuffer, int lSize, IntPtr pUsrData); /// <summary> /// 停止實時預覽 /// </summary> /// <param name="ulIdentifyId">登錄成功后返回的用戶編號</param> /// <param name="ulRealHandle">實時播放句柄</param> /// <returns></returns> [DllImport(SdkPath, EntryPoint = "IVS_PU_StopRealPlay", CharSet = CharSet.Ansi, SetLastError = true, PreserveSig = true, CallingConvention = CallingConvention.StdCall)] public static extern uint IVS_PU_StopRealPlay(uint ulIdentifyId, uint ulRealHandle); #endregion #region 錯誤信息相關 /// <summary> /// 獲取最后一次錯誤代碼 /// </summary> /// <returns></returns> [DllImport(SdkPath, EntryPoint = "IVS_PU_GetLastError", CharSet = CharSet.Ansi, SetLastError = true, PreserveSig = true, CallingConvention = CallingConvention.StdCall)] private static extern int IVS_PU_GetLastError(); /// <summary> /// 根據錯誤代碼返回錯誤信息 /// </summary> /// <param name="ulErrorNo">錯誤編號</param> /// <returns></returns> [DllImport(SdkPath, EntryPoint = "IVS_PU_GetErrorMsg", CharSet = CharSet.Ansi, SetLastError = true, PreserveSig = true, CallingConvention = CallingConvention.StdCall)] private static extern IntPtr IVS_PU_GetErrorMsg(int ulErrorNo); /// <summary> /// 返回最后一次錯誤碼和錯誤信息 /// </summary> /// <returns></returns> public static string GetLastErrorInfo() { var lastErrorCode = IVS_PU_GetLastError(); var lastErrorMsg = Marshal.PtrToStringAnsi(IVS_PU_GetErrorMsg(lastErrorCode)); return $"錯誤碼：{IVS_PU_GetLastError()}，錯誤信息：{lastErrorMsg}"; } #endregion #region 退出登錄 /// <summary> /// 退出登錄 /// </summary> /// <param name="ulIdentifyId">登錄成功后返回的句柄編號</param> /// <returns></returns> [DllImport(SdkPath, EntryPoint = "IVS_PU_Logout", CharSet = CharSet.Ansi, SetLastError = true, PreserveSig = true, CallingConvention = CallingConvention.StdCall)] public static extern bool IVS_PU_Logout(uint ulIdentifyId); /// <summary> /// 反注冊設備，退出時進行設備釋放 /// </summary> /// <returns></returns> [DllImport(SdkPath, EntryPoint = "IVS_PU_Cleanup", CharSet = CharSet.Ansi, SetLastError = true, PreserveSig = true, CallingConvention = CallingConvention.StdCall)] public static extern bool IVS_PU_Cleanup(); #endregion } }
定義一個繼承了INotifyPropertyChanged的Model，用來實現刷新Image控件
public class VideoYuvModelView : INotifyPropertyChanged { public event PropertyChangedEventHandler PropertyChanged; private WriteableBitmap bitmapImage { get; set; } public WriteableBitmap VideoWriteableBitmap { get => bitmapImage; set { bitmapImage = value; PropertyChanged?.Invoke(this,new PropertyChangedEventArgs("VideoBitmapImage")); } } }
在MainWindow.cs中我們需要定義一些變量：
private uint _ulIdentifyId;//登錄攝像頭后返回的編號 private uint _ulRealHandleId;//調用預覽SDK返回的結果值 private static bool _isSave;//是否保存當前幀為圖片 private static bool _isExit;//是否退出
private static HuaWeiSdkHelper.PfRealDataCallBack _fedRealPlayCallbackWithYUV;//手動處理攝像頭回調時的委托事件
private const uint ByteLength = 1920 * 1080 * 4;//位圖的大小 private static readonly VideoYuvModelView VideoYuvModelView = new VideoYuvModelView();//Image的數據源，用來手動處理視頻時候展示圖像 private IntPtr _videoPlayHandle = IntPtr.Zero;//自動預覽時的控件句柄 [DllImport("kernel32.dll")] private static extern void CopyMemory(IntPtr destination, IntPtr source, uint length);//用來復制內存中的數據
在窗體初始化和加載事件中，我們來初始化一些數據的綁定
public MainWindow() { InitializeComponent(); VideoYuvModelView.VideoWriteableBitmap = new WriteableBitmap(1920, 1800, 96.0, 96.0, PixelFormats.Bgr32, null);//因為攝像頭返回的圖片大小時1920*1080，所以這里定義的大小要和返回的圖片大小一致 } private void MainWindow_OnLoaded(object sender, RoutedEventArgs e) { CanvaVideo.DataContext = VideoYuvModelView;//手動處理時，Image控件數據源 _videoPlayHandle = ImagePlay.Handle;//自動處理時，使用Winform的控件句柄 }
預覽攝像頭按鈕事件，中間根據選中的自動處理和手動處理來分別做出不同的相應
#region 視頻預覽（自動和手動處理視頻流） private void ButtonView_OnClick(object sender, RoutedEventArgs e) { if (0 == _ulIdentifyId) {
//這里通過網絡登錄到攝像頭，具體端口、用戶名、密碼請參考開發手冊 HuaWeiSdkHelper.InitAndLogin("192.168.2.250", 6060, "ApiAdmin", "HuaWei123", out _ulIdentifyId, out string errMsg); if (0 == _ulIdentifyId) { MessageBox.Show(errMsg); return; } } var prpInfos = new PU_REAL_PLAY_INFO_S[1]; var clientInfo = new PU_REAL_PLAY_INFO_S { ulChannelId = 101, hPlayWnd = _videoPlayHandle, enProtocolType = PU_PROTOCOL_TYPE.PU_PROTOCOL_TYPE_TCP, enStreamType = PU_STREAM_TYPE.PU_VIDEO_MAIN_STREAM, enVideoType = PU_VIDEO_TYPE.PU_VIDEO_TYPE_VIDEO, enMediaCryptoType = PU_MEDIA_CRYPTO_TYPE.PU_MEDIA_CRYPTO_NONE, enMediaCallbackType = PU_MEDIA_CALLBACK_TYPE.PU_MEDIA_CALLBACK_TYPE_RTP, szReserved = new byte[32], bKeepLive = true }; IntPtr pUsrData = (IntPtr)_ulIdentifyId; if (RadioButtonManual.IsChecked == true) { //手動處理視頻預覽 FormsHostVideo.Visibility = Visibility.Collapsed; CanvaVideo.Visibility = Visibility.Visible; clientInfo.hPlayWnd = IntPtr.Zero; clientInfo.enMediaCallbackType = PU_MEDIA_CALLBACK_TYPE.PU_MEDIA_CALLBACK_TYPE_YUV; prpInfos[0] = clientInfo; _fedRealPlayCallbackWithYUV = FedRealPlayCallbackWithYUV; //手動處理回調 _ulRealHandleId = HuaWeiSdkHelper.IVS_PU_RealPlay(_ulIdentifyId, prpInfos, _fedRealPlayCallbackWithYUV, ref pUsrData); if (0 == _ulRealHandleId) { MessageBox.Show(HuaWeiSdkHelper.GetLastErrorInfo()); } ButtonSaveOne.IsEnabled = true;//點擊 抓拍一張 按鈕，會把_isSave變量設置為true，從而在回調事件中可以保存當前幀為圖片 } else {
ButtonSaveOne.IsEnabled = false; CanvaVideo.Visibility = Visibility.Collapsed; FormsHostVideo.Visibility = Visibility.Visible; prpInfos[0] = clientInfo; //傳入句柄，自動預覽 _ulRealHandleId = HuaWeiSdkHelper.IVS_PU_RealPlay(_ulIdentifyId, prpInfos, null, ref pUsrData); if (0 == _ulRealHandleId) { MessageBox.Show(HuaWeiSdkHelper.GetLastErrorInfo()); } } } #region 手動解析YUV數據並展示在界面上 private static void FedRealPlayCallbackWithYUV(IntPtr szBuffer, int lSize, IntPtr pUsrData) { if (_isExit) return; try { Span<byte> nativeSpan; unsafe { nativeSpan = new Span<byte>(szBuffer.ToPointer(), lSize); } if (nativeSpan.Length > 0) { #region 處理視頻流YUV圖像 Mat yuvImg = new Mat(1080 * 3 / 2, 1920, MatType.CV_8UC1); Mat rgbImg = new Mat(1080, 1920, MatType.CV_8UC1); Marshal.Copy(nativeSpan.ToArray(), 0, yuvImg.Data, nativeSpan.Length); Cv2.CvtColor(yuvImg, rgbImg, ColorConversionCodes.YUV2RGBA_I420); Application.Current.Dispatcher?.InvokeAsync(() => { VideoYuvModelView.VideoWriteableBitmap.Lock(); unsafe { CopyMemory(VideoYuvModelView.VideoWriteableBitmap.BackBuffer, new IntPtr(rgbImg.DataPointer), ByteLength); } VideoYuvModelView.VideoWriteableBitmap.AddDirtyRect(new Int32Rect(0, 0, 1920, 1080)); VideoYuvModelView.VideoWriteableBitmap.Unlock(); }); if (_isSave) { Cv2.ImWrite(Path.Combine($"{AppDomain.CurrentDomain.BaseDirectory}", "jpg",$"{Guid.NewGuid()}.jpg"), rgbImg); _isSave = false; } #endregion } } catch (Exception e) { App.NewNLog.Error($"解析視頻流出錯：{e}"); } } #endregion #endregion
在程序關閉的時候進行資源釋放。
private void MainWindow_OnClosed(object sender, EventArgs e) { _isExit = true;if (_ulRealHandleId > 0) { HuaWeiSdkHelper.IVS_PU_StopRealPlay(_ulIdentifyId, _ulRealHandleId);//停止預覽 } if (_ulIdentifyId > 0) { HuaWeiSdkHelper.IVS_PU_Logout(_ulIdentifyId);//退出登錄 } HuaWeiSdkHelper.IVS_PU_Cleanup();//SDK資源釋放 }
具體效果如下：
1、自動預覽
2、手動處理
但是這里的YUV回調填充到WriteableBitmap遇到個問題，就是無法填滿WriteableBitmap（把WriteableBitmap中的數據保存下來也是和預覽的效果一樣，估計是填充的算法不對），只能填充一部分，這里涉及到本人的知識盲區，暫時沒法解決掉。
3、一幀圖像保存為本地圖片
至此我們使用C#初步實現了華為IPC攝像頭的預覽和數據流處理（也可以把處理類型換成視頻流，然后存本地視頻文件，因為默認時h265編碼格式，播放時使用PotPlayer播放器來播放），算是入門了。
下一章我們將實現調用SDK來實現人臉自動抓拍效果。
=======================================================================================
上一篇我們實現了用SDK登錄攝像頭並實現預覽，這次我們實現通過SDK調用攝像頭本身自帶的人臉抓拍功能。
因為篇幅較短，這里直接上代碼。
首先我們在MainWindow代碼里定義一個安全隊列用來存儲抓拍到的人臉數據，一個定時取隊列數據的定時器，一個人臉抓拍回調事件
private static ConcurrentQueue<CaptureInfo> _concurrentQueue = new ConcurrentQueue<CaptureInfo>(); private static HuaWeiSdkHelper.PfRealDataCallBack _fedRealPlayCallbackFaceCapture; private Timer _timer;
在窗體加載事件中初始化定時器，用來把抓拍到的數據保存到本地
private void MainWindow_OnLoaded(object sender, RoutedEventArgs e) {
//上一篇文章中的代碼省略 _timer = new Timer(300) { Enabled = false }; _timer.Elapsed += Timer_Elapsed; }
SDK定義了人臉捕獲需要定義的Struct和Enum
namespace HuaWeiCamera.Struct { /// <summary> /// 元數據獲取相關參數 /// </summary> [StructLayout(LayoutKind.Sequential)] public struct PU_META_DATA { /// <summary> /// 數據容量 /// </summary> public ushort usCapacity; /// <summary> /// 有效數目 /// </summary> public ushort usValidNumber; /// <summary> /// 參考PU_UserData 定義 /// </summary> public System.IntPtr pstMetaUserData; } }
namespace HuaWeiCamera.Struct { /// <summary> /// 元數據用戶數據 /// </summary> [System.Runtime.InteropServices.StructLayout(System.Runtime.InteropServices.LayoutKind.Sequential, Pack = 1)] public struct PU_UserData { /// <summary> /// 元數據類型 /// </summary> public LAYER_THREE_TYPE eType; /// <summary> /// 用戶元數據詳情 /// </summary> public PU_UserData_unMetadata Union1; } }
namespace HuaWeiCamera.Struct { /// <summary> /// 用戶元數據詳情 /// </summary> [System.Runtime.InteropServices.StructLayout(System.Runtime.InteropServices.LayoutKind.Explicit)] public struct PU_UserData_unMetadata { [System.Runtime.InteropServices.FieldOffset(0)] public int bBoolValue; [System.Runtime.InteropServices.FieldOffset(0)] public byte charValue; [System.Runtime.InteropServices.FieldOffset(0)] public byte ucharValue; [System.Runtime.InteropServices.FieldOffset(0)] public short shortValue; [System.Runtime.InteropServices.FieldOffset(0)] public ushort ushortValue; [System.Runtime.InteropServices.FieldOffset(0)] public int IntValue; [System.Runtime.InteropServices.FieldOffset(0)] public uint uIntValue; [System.Runtime.InteropServices.FieldOffset(0)] public long longlongValue; [System.Runtime.InteropServices.FieldOffset(0)] public ulong uLonglongValue; /// <summary> /// 元數據二進制顏色 /// </summary> [System.Runtime.InteropServices.FieldOffset(0)] public ST_BINARY stBinay; /// <summary> /// 元數據矩形 /// </summary> [System.Runtime.InteropServices.FieldOffset(0)] public META_RECT_S stRec; /// <summary> /// 元數據划點 /// </summary> [System.Runtime.InteropServices.FieldOffset(0)] public META_POINT_S stPoint; /// <summary> /// 元數據划線 /// </summary> [System.Runtime.InteropServices.FieldOffset(0)] public META_LINE_S stLine; [System.Runtime.InteropServices.FieldOffset(0)] public IntPtr stPolyGon; [System.Runtime.InteropServices.FieldOffset(0)] public IntPtr stColor; [System.Runtime.InteropServices.FieldOffset(0)] public IntPtr stHumanAttr; /// <summary> /// 人臉信息 /// </summary> [System.Runtime.InteropServices.FieldOffset(0)] public META_FACE_INFO stFaceInfo; /// <summary> /// 人臉屬性 /// </summary> [System.Runtime.InteropServices.FieldOffset(0)] public META_FACE_ATTRIBUTES stFaceAttr; [System.Runtime.InteropServices.FieldOffset(0)] public IntPtr szUserData; } }
namespace HuaWeiCamera.Enums { /// <summary> /// 元數據類型以《全網智能接口對接TLV數據詳解文檔為准》 /// 下載鏈接:https://support.huawei.com/enterprise/zh/doc/EDOC1100084903 /// </summary> public enum LAYER_THREE_TYPE { /// <summary> /// 時間戳 /// </summary> PTS = 0x09000001, /// <summary> /// 處理圖片寬 /// </summary> IMG_WIDTH = 0x07000100, /// <summary> /// 處理圖片高 /// </summary> IMG_HEIGHT = 0x07000101, // 人臉 /// <summary> /// 人臉ID /// </summary> FACE_ID = 0x07000016, /// <summary> /// 人臉全景圖片大小 /// </summary> FACE_PANOPIC_SIZE = 0x07000018, /// <summary> /// 人臉摳圖產生時間 /// </summary> FACE_PIC_TIME = 0x08000015, /// <summary> /// 人臉摳圖設備時區(單位ms 東區為+ 西區為-) /// </summary> FACE_PIC_TZONE = 0x08000020, /// <summary> /// 人體屬性(不建議使用，使用0X070003xx開始的單個人體屬性代替) /// </summary> HUMAN_FEATURE = 0x10000002, /// <summary> /// 人臉屬性(不建議使用，使用0X070002xx開始的單個人臉屬性代替) /// </summary> FACE_FEATURE = 0x11000003, /// <summary> /// 全景圖片 /// </summary> PANORAMA_PIC = 0x0A00000A, /// <summary> /// 人臉摳圖 /// </summary> FACE_PIC = 0x0A000012, /// <summary> /// 人臉摳圖kps質量過濾標志位 /// </summary> FACE_PIC_KPS = 0x07000012, /// <summary> /// 人體摳圖 /// </summary> HUMAN_PIC = 0x0A000013, /// <summary> /// 人體摳圖kps質量過濾標志位 /// </summary> HUMAN_PIC_KPS = 0x07000013, /// <summary> /// 人體摳圖中的人體目標框 /// </summary> HUMAN_PIC_ROI = 0x0B000017, /// <summary> /// 人臉全景 /// </summary> FACE_PANORAMA = 0x0A000017, /// <summary> /// 人臉摳圖小框位置 /// </summary> FACE_PIC_POSITION = 0x0B000011, /// <summary> /// 人臉位置(實時位置框， 萬分比) (開始支持版本:SDC V500R019C30) /// </summary> FACE_POS = 0x0B000012, /// <summary> /// 人臉數據庫中匹配圖片 /// </summary> FACE_MATCH = 0x0A000014, /// <summary> /// 名單庫中的人臉ID，用來維持特征 record的一致性 /// </summary> FACELIB_RECORDID = 0x07000017, /// <summary> /// 人臉匹配率 /// </summary> FACE_MATCHRATE = 0x07000020, /// <summary> /// 人臉信息,對應數據庫中信息 /// </summary> FACE_INFO = 0x12000001, /// <summary> /// 名單庫類型 /// </summary> FACE_LIB_TYPE = 0x07000022, /// <summary> /// 名單庫名字 /// </summary> FACE_LIB_NAME = 0x0A000015, /// <summary> /// target類型，所有智能的業務類型(開始支持版本:SDC V500R019C30) /// </summary> TARGET_TYPE = 0x07000023, /// <summary> /// 人臉屬性， 以FACE開頭 0 表示未知 1~n依次對應注釋的屬性 /// 眼鏡{無，有} /// </summary> FACE_GLASS = 0X07000200, /// <summary> /// 性別{女，男} /// </summary> FACE_GENDER = 0X07000201, /// <summary> /// 年齡，具體的年齡值1~99 /// </summary> FACE_AGE = 0X07000202, /// <summary> /// 遮檔(口罩) {無，是} /// </summary> FACE_MOUTHMASK = 0X07000203, /// <summary> /// 人臉表情{微笑、憤怒、悲傷、正常、驚訝} /// </summary> FACE_EXPRESSION = 0X07000204, /// <summary> /// 帽子{無, 有} /// </summary> FACE_HAT = 0X07000205, /// <summary> /// 胡子{無, 有} (支持版本:SDC 8.0.1) /// </summary> FACE_MUSTACHE = 0X07000206, /// <summary> /// 發型{長, 短}(支持版本:SDC 8.0.1) /// </summary> FACE_HAIR = 0X07000207, /// <summary> /// 眼鏡{無，普通眼鏡，太陽眼鏡} (開始支持版本:SDC 8.0.1) /// </summary> FACE_GLASS_TYPE = 0X07000208, /// <summary> /// 人體屬性類 以HUMAN開頭 0 表示未知 1~n依次對應注釋的屬性 /// 年齡 {少年,青年,老年} /// </summary> HUMAN_AGE = 0X07000300, /// <summary> /// 性別{男，女} /// </summary> HUMAN_GENDER = 0X07000301, /// <summary> /// 上衣款式 {長袖，短袖} /// </summary> HUMAN_UPPERSTYLE = 0X07000302, /// <summary> /// 上衣顏色 {黑，藍，綠，白/灰，黃/橙/棕，紅/粉/紫} /// </summary> HUMAN_UPPERCOLOR = 0X07000303, /// <summary> /// 上衣紋理 {純色，條紋，格子} /// </summary> HUMAN_UPPERTEXTURE = 0X07000304, /// <summary> /// 下衣款式 {長褲,短褲，裙子} /// </summary> HUMAN_LOWSTYLE = 0X07000305, /// <summary> /// 下衣顏色 {黑，藍，綠，白/灰，黃/橙/棕，紅/粉/紫} /// </summary> HUMAN_LOWERCOLOR = 0X07000306, /// <summary> /// 體型{standard, fat, thin} /// </summary> HUMAN_SHAPE = 0X07000307, /// <summary> /// 口罩{no,yes} /// </summary> HUMAN_MOUTHMASK = 0X07000308, /// <summary> /// 發型{ long, short } /// </summary> HUMAN_HAIR = 0X07000309, /// <summary> /// 背包{no,yes} /// </summary> HUMAN_BACKPACK = 0X0700030A, /// <summary> /// 是否拎東西{no,yes} /// </summary> HUMAN_CARRY = 0X0700030B, /// <summary> /// 斜挎包{no,yes} /// </summary> HUMAN_SATCHEL = 0X0700030C, /// <summary> /// 雨傘{no,yes} /// </summary> HUMAN_UMBRELLA = 0X0700030D, /// <summary> /// 前面背包{no,yes} /// </summary> HUMAN_FRONTPACK = 0X0700030E, /// <summary> /// 行李箱{no,yes} /// </summary> HUMAN_LUGGAGE = 0X0700030F, /// <summary> /// 行進方向{forward,backward} /// </summary> HUMAN_DIRECT = 0X07000310, /// <summary> /// 行進速度{slow,fast} /// </summary> HUMAN_SPEED = 0X07000311, /// <summary> /// 朝向{frontal, back, leftprofiled, rightprofiled} /// </summary> HUMAN_VIEW = 0X07000312, /// <summary> /// 眼鏡{no,glass, sunglass} /// </summary> HUMAN_GLASS = 0X07000313, /// <summary> /// 戴帽子{no, yes} /// </summary> HUMAN_HAT = 0X07000314, /// <summary> /// 非機動車屬性類 以RIDERMAN開頭 0 表示未知 1~n依次對應注釋的屬性 /// </summary> RIDERMAN_AGE = 0X07000400, // 年齡 {少年,青年,老年} RIDERMAN_GENDER = 0X07000401, // 性別{男，女} RIDERMAN_UPPERSTYLE = 0X07000402, // 上衣款式 {長袖，短袖} RIDERMAN_UPPERCOLOR = 0X07000403, // 上衣顏色 {黑，藍，綠，白/灰，黃/橙/棕，紅/粉/紫} RIDERMAN_HELMET = 0X07000404, // 是否戴頭盔 {no, yes} RIDERMAN_HELMETCOLOR = 0X07000405, // 頭盔顏色 {黑，藍，綠，白/灰，黃/橙/棕，紅/粉/紫} APPROACH_LANE_ID = 0x07000605, // 臨近車道號(開始支持版本:SDC 8.0.1) // 人體 HUMAN_RECT = 0x0B000013, // 人體位置(實時位置框) HUMAN_RECT_POSITION = 0x0B000014, // 人體摳圖小框位置 SHOULDER_RECT = 0x0B000018, // 頭肩位置 SHOULDER_NUM = 0x06000001, // 頭肩個數 QUEUE_TIME = 0x06000002, // 排隊時長 OBJ_ID = 0x07000021, // 目標ID OBJ_STATUS = 0x06000022, // 目標狀態 OBJ_POS = 0x0B000023, // 目標位置 OBJ_TYPE = 0x06000024, // 目標類型 OBJ_SPEED = 0x0C000025, // 目標速度 OBJ_UPHALF_COLOR = 0x0F000026, // 目標上半部顏色 OBJ_DOWNHALF_COLOR = 0x0F000027, // 目標下半部顏色 RULE_TYPE = 0x07000031, // 規則類型 RULE_LINE_POS = 0x0D000032, // 規則線位置 RULE_LINE_DIR = 0x07000033, // 規則線方向 RULE_AREA_POS = 0x0E000034, // 規則框位置 OBJ_POS_R = 0x0B000035, // 目標位置(相對位置) OBJ_SPEED_R = 0x0C000036, // 目標速度(相對位置) RULE_LINE_POS_R = 0x0D000037, // 規則線位置(相對位置) RULE_AREA_POS_R = 0x0E000038, // 規則框位置(相對位置) LANE_ID = 0x07000002, // 車道號 TRAFFIC_LIGHT_COLOR_ONE = 0x07000106, // 信號燈 1 顏色 TRAFFIC_LIGHT_DIREC_ONE = 0x07000107, // 信號燈1方向 TRAFFIC_LIGHT_COLOR_TWO = 0x07000108, // 信號燈2顏色 TRAFFIC_LIGHT_DIREC_TWO = 0x07000109, // 信號燈2方向 TRAFFIC_LIGHT_COLOR_THREE = 0x07000110, // 信號燈3顏色 TRAFFIC_LIGHT_DIREC_THREE = 0x07000111, // 信號燈3方向 TRAFFIC_LIGHT_COLOR_FOUR = 0x07000112, // 信號燈4顏色 TRAFFIC_LIGHT_DIREC_FOUR = 0x07000113, // 信號燈4方向 VEHICLE_TYPE = 0x07000003, // 車輛類型 VEHICLE_TYPE_EXT = 0x07000406, // 車輛類型擴展(開始支持版本:SDC V500R019C50) VEHICLE_COLOR = 0x07000004, // 車輛顏色 VEHICLE_DIRECTION = 0x07000005, // 車輛行駛方向 VEHICLE_POS = 0x0B000005, // 車輛位置 (萬分比，開始支持版本:SDC V500R019C30) VEHICLE_POS_ABS = 0x0B000020, // 車輛位置絕對坐標 VEHICLE_POS_COM = 0x0B000021, // 車輛位置相對坐標萬分比 PLATE_TYPE = 0x07000006, // 車牌類型 PLATE_POS = 0x0B000007, // 車牌位置(開始支持版本:SDC V500R019C30) PLATE_POS_ABS = 0x0B000026, // 車牌位置絕對坐標 PLATE_POS_COM = 0x0B000027, // 車牌位置相對坐標萬分比 PLATE_CHAR = 0x0A000008, // 車牌字符 PLATE_PIC = 0x0A000009, // 車牌摳圖(開始支持版本:SDC V500R019C60) PLATE_BMP_BIT = 0x0A00000B, // 車牌二值圖(開始支持版本:SDC 8.0.1) PLATE_BMP_BYTE = 0x0A00000C, // 車牌BMP圖(開始支持版本:SDC 8.0.1) PLATE_CONFIDENCE = 0x07000061, // 車牌置信度(開始支持版本:SDC V500R019C60) PLATE_COLOR = 0x07000062, // 車牌顏色 PLATE_SNAPSHOT_TYPE = 0x07000066, // 車牌抓拍類型 VEHICLE_PIC = 0x0A000067, // 車輛特寫圖(開始支持版本:SDC V500R019C30) FACE_FEATURE_PIC = 0x0A000068, // 行人闖紅燈人臉特寫圖(開始支持版本:SDC 8.0.1) PIC_SNAPSHOT_TIMEMS = 0x09000003, // 抓拍時間(單位ms)(開始支持版本:SDC V500R019C50) PIC_SNAPSHOT_TIME = 0x07000068, // 抓拍時間 PIC_SNAPSHOT_TZONE = 0x08000069, // 設備時區(單位ms 東區為+ 西區為-) DEVICE_ID = 0x0A000025, // 設備編號 ROID_ID = 0x0A000026, // 道路編號 DIR_ID = 0x0A000027, // 方向編號 DIR_INFO = 0x0A000028, // 方向信息 REGULATION_CODE = 0x0A000029, // 違章代碼字符串(開始支持版本:SDC 8.0.1) LANE_DESC = 0x070000B2, // 車道描述(開始支持版本:SDC V500R019C30) LANE_DIR_DESC = 0x070000B3, // 車道方向描述(開始支持版本:SDC V500R019C30) CAR_DRV_DIR = 0x070000B6, // 車輛行駛方向描述(開始支持版本:SDC V500R019C30) RADER_CAR_DIR = 0x070000B7, // 雷達測速方向(開始支持版本:SDC V500R019C30) CUR_SNAP_INDEX = 0x070000B8, // 當前抓拍序列號(開始支持版本:SDC V500R019C30) ITS_COMBINE = 0x01000003, // 違章圖片 是否開啟合成 ITS_OSD_PIC_OFFSET = 0x06000037, // ITS 六合一卡口osd導致的車輛位置偏移量,正值表示疊加外側上邊緣, // 負值表示疊加外側下邊緣(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS = 0x070000A0, // 車流量統計參數(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_LANE_COUNT = 0x070000A1, // 車流量統計車道數量(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_LANE_INDEX = 0x070000A2, // 車流量統計當前車道(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_VEHICLE_COUNT = 0x070000A3, // 車輛計數(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_AVG_SPEED = 0x070000A4, // 平均速度(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_LANE_TIME_USED_RATIO = 0x070000A5, // 車道時間占有率(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_VEHICLE_DENSITY = 0x070000A6, // 車流密度(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_VEHICLE_HEAD_INTERVAL = 0x070000A7, // 車頭時間間隔(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_VEHICLE_HEAD_SPACE_INTERVAL = 0x070000A8, // 車頭間隔(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_CONGESTION_DEGREE = 0x070000A9, // 交通狀態(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_VEHICLE_TYPE1_COUNT = 0x070000AA, // 大型車數量(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_VEHICLE_TYPE2_COUNT = 0x070000AB, // 中型車數量(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_VEHICLE_TYPE3_COUNT = 0x070000AC, // 小型車數量(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_QUEUE_LENGTH = 0x070000AD, // 排隊長度(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_LANE_SPACE_USED_RATIO = 0x070000AE, // 車道空間占有率(開始支持版本:SDC V500R019C30) ITS_TRAFFIC_LEFT_VEHICLE_COUNT = 0x070000AF, // its左轉車數量(開始支持版本:SDC V500R019C30) ITS_TRAFFIC_STRAIGHT_VHEICLE_COUNT = 0x070000B0, // its直行車數量(開始支持版本:SDC V500R019C30) ITS_TRAFFIC_RIGHT_VHEICLE_COUNT = 0x070000B1, // its右轉車數量(開始支持版本:SDC V500R019C30) TRAFFIC_STATISTICS_CYCLE = 0x070000B9, // 車流量統計周期(開始支持版本:SDC V500R019C50) TRAFFIC_STATISTICS_NONMOTOR_COUNT = 0x070000C0, // 非機動車數量(開始支持版本:SDC 8.0.0) TRAFFIC_STATISTICS_PEDESTRIAN_COUNT = 0x070000C1, // 行人數量(開始支持版本:SDC 8.0.0) TRAFFIC_STATISTICS_TOTAL_VEHICLE_COUNT = 0x070000C2, // 斷面流量(開始支持版本:SDC 8.0.0) VEHICLE_SPEED = 0x07000075, // 車輛速度 REGULATION_TYPE = 0x07000076, // 違章類型 MFR_MAIN_CALL = 0x06000025, // 主駕駛打電話(開始支持版本:SDC V500R019C30) MFR_MAIN_BELT = 0x06000026, // 主駕駛安全帶(開始支持版本:SDC V500R019C30) MFR_VICE_EXIST = 0x06000027, // 是否有副駕駛(開始支持版本:SDC V500R019C30) MFR_VICE_BELT = 0x06000035, // 副駕駛安全帶(開始支持版本:SDC V500R019C30) MFR_YEAR_LOG = 0x06000036, // 年檢標(開始支持版本:SDC V500R019C30) MFR_MAIN_SUN_VISOR = 0x06000030, // 主駕駛遮陽板(開始支持版本:SDC V500R019C30) MFR_VICE_SUN_VISOR = 0x06000031, // 副駕駛遮陽板(開始支持版本:SDC V500R019C30) MFR_NAP_KIN_BOX = 0x06000032, // 紙巾盒(開始支持版本:SDC V500R019C30) MFR_CAR_PENDANT = 0x06000034, // 掛件(開始支持版本:SDC V500R019C30) VEHICLE_BODY_RECT = 0x0B000008, // 車身位置 NOMOTOR_BODY_RECT = 0x0B000009, // 非機動車車身位置 MOTOR_COLOR = 0X07000600, // 非機動車顏色 {黑(1)，藍(2)，綠(3)，白/灰(4)，黃/橙/棕(5)，紅/粉/紫(6)} (開始支持版本:SDC 8.0.1) MOTOR_SUNSHADE = 0X07000601, // 是否有遮陽傘{否(1),是(2)} (開始支持版本:SDC 8.0.1) MOTOR_SUNSHADE_COLOR = 0X07000602, // 遮陽傘顏色 {黑(1)，藍(2)，綠(3)，白/灰(4)，黃/橙/棕(5)，紅/粉/紫(6)} (開始支持版本:SDC 8.0.1) MOTOR_MOTOR_CARRY = 0X07000603, // 是否有攜帶物 {否(1),是(2)} (開始支持版本:SDC 8.0.1) MOTOR_LICENSE_PLATE = 0X07000604, // 是否有車牌{否(1),是(2)} (開始支持版本:SDC 8.0.1) CAR_PRE_BRAND = 0x0A000007, // 品牌字符 （大 眾）(開始支持版本:SDC V500R019C60 ) CAR_SUB_BRAND = 0x0A000022, // 子款字符 （桑塔納）(開始支持版本:SDC V500R019C60 ) CAR_YEAR_BRAND = 0x0A000024, // 年款字符 （2011）(開始支持版本:SDC V500R019C60 ) VHD_OBJ_ID = 0x09000006, // 機非人ID CAR_PRE_BRAND_INDEX = 0x06000028, // 品牌字符索引 （大 眾）(開始支持版本:SDC V500R019C30 ) CAR_SUB_BRAND_INDEX = 0x06000029, // 子款字符索引 （桑塔納）(開始支持版本:SDC V500R019C30 ) /// <summary> /// 設備數 /// </summary> DEV_CNT = 0x03000070, /// <summary> /// 通道號 /// </summary> CHAN_ID = 0x03000071, /// <summary> /// 人群密度檢測算法人數 /// </summary> PEOPLE_NUM = 0X07000087, /// <summary> /// 人群密度檢測算法返回框的地址 /// </summary> HEADSHOULDER_POS = 0X0B000088, /// <summary> /// 人群密度檢測算法人群密度 /// </summary> AREARATIO = 0X07000089, /// <summary> /// 跟蹤目標id (開始支持版本:SDC V500R019C30) /// </summary> TRACK_OBJECT = 0x07000028, /// <summary> /// 相機通道號(開始支持版本:SDC V500R019C30) /// </summary> CHANNEL_ID = 0x09000078 } }
定時器事件中處理捕獲到的人臉數據（存為本地圖片）
#region 處理人臉數據 private void Timer_Elapsed(object sender, ElapsedEventArgs e) { if (_concurrentQueue.Count == 0) { Console.WriteLine(@"暫無人臉圖片"); return; } if (!_concurrentQueue.TryDequeue(out CaptureInfo face)) { Console.WriteLine(@"讀取隊列錯誤"); return; } if (face._dataFacePic != null && face._dataFacePic.Length > 0) { Console.WriteLine(@"人臉存儲中"); Task.Run(async () => { var saveFaceFile = Path.Combine($"{AppDomain.CurrentDomain.BaseDirectory}", "jpg", $"face_{DateTime.Now:yyyy-MM-dd-HH-mm-ss}.jpg"); await YuvHelper.Byte2Jpg(face._dataFacePic, saveFaceFile).ConfigureAwait(false); }); } if (face._dataFacePanorama != null && face._dataFacePanorama.Length > 0) { Console.WriteLine(@"全景圖片存儲中"); Task.Run(async () => { var savePanoramaFile = Path.Combine($"{AppDomain.CurrentDomain.BaseDirectory}", "jpg", $"Panorama_{DateTime.Now:yyyy-MM-dd-HH-mm-ss}.jpg"); await YuvHelper.Byte2Jpg(face._dataFacePanorama, savePanoramaFile).ConfigureAwait(false); }); } } #endregion
在人臉捕獲按鈕事件中啟動人臉捕獲回調
#region 人臉捕獲 private void ButtonFace_OnClick(object sender, RoutedEventArgs e) { if (0 == _ulIdentifyId) { HuaWeiSdkHelper.InitAndLogin("192.168.2.250", 6060, "ApiAdmin", "HuaWei123", out _ulIdentifyId, out string errMsg); if (0 == _ulIdentifyId) { MessageBox.Show(errMsg); return; } } var prpInfos = new PU_REAL_PLAY_INFO_S[1]; var clientInfo = new PU_REAL_PLAY_INFO_S { ulChannelId = 101, hPlayWnd = IntPtr.Zero, enProtocolType = PU_PROTOCOL_TYPE.PU_PROTOCOL_TYPE_TCP, enStreamType = PU_STREAM_TYPE.PU_VIDEO_MAIN_STREAM, enVideoType = PU_VIDEO_TYPE.PU_VIDEO_TYPE_META,//這里需要設置為視頻類型為元數據 enMediaCryptoType = PU_MEDIA_CRYPTO_TYPE.PU_MEDIA_CRYPTO_NONE, enMediaCallbackType = PU_MEDIA_CALLBACK_TYPE.PU_MEDIA_CALLBACK_TYPE_META_FRAME,//回調方式為智能元數據 bKeepLive = true, szLocalIp = null, szReserved = new byte[32] }; clientInfo.szReserved[22] = 1;//szReserved[22]表示智能分析數據打包格式 0:XML,1:元數據 prpInfos[0] = clientInfo; var loginUserId = _ulIdentifyId; IntPtr pUsrData = (IntPtr)loginUserId; _fedRealPlayCallbackFaceCapture = FaceCaptureReaplayCallbackWithMetaFrame; var ulRealHandleCapture = HuaWeiSdkHelper.IVS_PU_RealPlay(_ulIdentifyId, prpInfos, _fedRealPlayCallbackFaceCapture, ref pUsrData); if (0 == ulRealHandleCapture) { MessageBox.Show(HuaWeiSdkHelper.GetLastErrorInfo()); return; } _timer.Enabled = true; } #region 人臉捕獲數據回調 private static void FaceCaptureReaplayCallbackWithMetaFrame(IntPtr szBuffer, int lSize, IntPtr pUsrData) { var ptrstMetaTargetData = Marshal.AllocHGlobal(Marshal.SizeOf(typeof(PU_META_DATA))); try { var bRet = HuaWeiSdkHelper.IVS_User_GetMetaData(szBuffer, lSize, LAYER_TWO_TYPE.TARGET, ref ptrstMetaTargetData); if (false == bRet) { return; } if ((IntPtr)0 == ptrstMetaTargetData) { return; } //將數據從非托管內存塊封送到新分配的指定類型的托管對象 var pstMetaData = (PU_META_DATA)Marshal.PtrToStructure(ptrstMetaTargetData, typeof(PU_META_DATA)); //數據處理 if (0 == pstMetaData.usValidNumber) { return; } PU_UserData pstMetaUserData = new PU_UserData(); int nSizeofPuUserDataInC = Marshal.SizeOf(pstMetaUserData); byte[] dataFacePic = null;//人臉圖片，如果捕獲到人臉，會轉成byte[]數組填充進來 byte[] dataFacePanorama = null;//檢測到人臉的時候的全景圖片 var faceFeature = new META_FACE_ATTRIBUTES();//附加的人臉上的數據 bool hasFaceFeature = false; int target = 0; for (int uIndex = 0; uIndex < pstMetaData.usValidNumber; ++uIndex) { IntPtr ptr2 = new IntPtr(pstMetaData.pstMetaUserData.ToInt32() + nSizeofPuUserDataInC * uIndex); pstMetaUserData = (PU_UserData)Marshal.PtrToStructure(ptr2, typeof(PU_UserData));//數據轉成元用戶數據結構 switch (pstMetaUserData.eType) { case LAYER_THREE_TYPE.TARGET_TYPE: target = pstMetaUserData.Union1.IntValue; break; case LAYER_THREE_TYPE.FACE_PIC://人臉摳圖 dataFacePic = new byte[pstMetaUserData.Union1.stBinay.ulBinaryLenth]; //使用地址data來獲取需要的內存塊中的數據 Marshal.Copy(pstMetaUserData.Union1.stBinay.pBinaryData, dataFacePic, 0, (int)pstMetaUserData.Union1.stBinay.ulBinaryLenth); break; case LAYER_THREE_TYPE.FACE_PANORAMA://人臉全景 dataFacePanorama = new byte[pstMetaUserData.Union1.stBinay.ulBinaryLenth]; //使用地址data來獲取需要的內存塊中的數據 Marshal.Copy(pstMetaUserData.Union1.stBinay.pBinaryData, dataFacePanorama, 0, (int)pstMetaUserData.Union1.stBinay.ulBinaryLenth); break; case LAYER_THREE_TYPE.FACE_FEATURE://人臉屬性 hasFaceFeature = true; faceFeature = pstMetaUserData.Union1.stFaceAttr; break; default: break; } } if ((int)Target.FaceCapture == target) { CaptureInfo info = new CaptureInfo { _dataFacePanorama = dataFacePanorama, _dataFacePic = dataFacePic, _faceFeature = faceFeature, _hasFaceFeature = hasFaceFeature }; _concurrentQueue.Enqueue(info);//加入到待處理隊列中 } HuaWeiSdkHelper.IVS_User_FreeMetaData(out ptrstMetaTargetData);//釋放數據占用空間 } catch (Exception e) { Console.WriteLine(e); throw; } finally { Marshal.FreeHGlobal(ptrstMetaTargetData);//釋放內存 } } #endregion #endregion
在程序退出時，去釋放資源
private void MainWindow_OnClosed(object sender, EventArgs e) { _isExit = true; if (_timer.Enabled) _timer.Enabled = false; if (_ulRealHandleId > 0) { HuaWeiSdkHelper.IVS_PU_StopRealPlay(_ulIdentifyId, _ulRealHandleId); } if (_ulIdentifyId > 0) { HuaWeiSdkHelper.IVS_PU_Logout(_ulIdentifyId); } HuaWeiSdkHelper.IVS_PU_Cleanup(); VideoFileStream.Close(); }
SDK把人臉抓拍注冊成功后，攝像頭本身帶的有人臉識別算法，捕獲到人臉后，會把數據回調給注冊事件，注冊事件中根據回調中給的人臉數據的內存地址取出數據，實例化成C#的數據結構，把圖片轉換成byte[]寫入到隊列里，定時處理隊列時取出數據寫成圖片，即完成了攝像頭人臉識別抓拍（有的攝像頭帶人臉比對算法，可直接進行人臉比對）。
出處：