
[中文] | [English]
CDR(cv-detect-robot)項目介紹
CDR項目立項宗旨:高性能視覺檢測及其相關算法賦能機器人行業,搭建起技術落地的橋梁。
( 備注(1)):已接入本項目的
yolov5-ros-deepstream和yolox-ros-deepstream已做好了ROS系統的適配,待相關軟硬件環境搭建好后即可直接調用已定義好的ros話題消息獲取目標檢測實時數據。
( 備注(2)):后續將接入百度paddle的ppyolo算法、曠世科技的YOLOX算法和一系列像素級目標檢測及追蹤算法。
( 備注(3)):隨着本人及團隊《中山大學-MICRO_lab實驗室》的學習成長,該項目會不定期進行維護和更新,由於能力有限,項目中存在錯誤和不足之處望各位批評指正或在
issue中留言。
( 備注(4)):為方便大家學習交流,已建立CDR(cv-detect-robot)項目交流微信群,請添加群負責人
小郭微信號17370042325,以方便拉您進群。
CDR子項目(一)(yolov5-ros-deepstream)
- yolov5-ros-deepstream 子項目簡介
該項目是將yolov5視覺檢測算法與神經網絡加速引擎tensorRT結合,並在英偉達的deepstream框架下運行,結合ros通信機制,將檢測數據實時通過ros topic 發布出去。以供基於ROS機器人操作系統的開發人員及相關科研人員使用。
詳細教程請進入yolov5-ros-deepstream
最終視頻檢測效果請進入yolov5-ros-deepstream檢測
CDR子項目(二)(yolov5-deepstream-python)
- yolov5-deepstream-python 子項目簡介
該項目是將視覺檢測算法yolov5與神經網絡加速引擎tensorRT結合,利用共享內存技術將檢測所得到的數據實時儲存到事先定義好的物理內存中(物理地址是唯一的),在同一硬件平台上的任意軟件目錄中,建立一個讀取物理內存的
client.py腳本文件(里面只包含一個讀取內存的代碼段),將指定好的物理內存中的數據讀取出來,在讀取成功的前提下,可將該代碼段插入到任意需要目標檢測數據的python項目中,從而使該python項目能順利獲取目標檢測數據。
詳細教程請進入yolov5-deepstream-python
最終視頻檢測效果請進入yolov5-deepstream-python檢測
CDR子項目(三)(yolov5-deepstream-cpp)
- yolov5-deepstream-cpp 子項目簡介
該項目是將視覺檢測算法yolov5與神經網絡加速引擎tensorRT結合,利用共享內存技術將檢測所得到的數據實時儲存到事先定義好的物理內存中(物理地址是唯一的),在同一硬件平台上的任意軟件目錄中,建立一個讀取物理內存的
yolov5_tensor.cpp文件(里面只包含一個讀取內存的代碼段),編譯后可將指定好的物理內存中的數據讀取出來,在讀取成功的前提下,可將該代碼段插入到任意需要目標檢測數據的C++項目中,從而使該C++項目能順利獲取目標檢測數據。
詳細教程請進入yolov5-deepstream-cpp
最終視頻檢測效果請進入yolov5-deepstream-cpp檢測
CDR子項目(四)(yolox-ros-deepstream)
- yolox-ros-deepstream 子項目簡介
該項目是將yolox視覺檢測算法與神經網絡加速引擎tensorRT結合,本子項目采另一種引擎文件生成方法,通過onnx轉到engine,此方法更具靈活性,也越來越穩定,符合行業主流發展趨勢,在英偉達的deepstream框架下運行,結合ros通信機制,將檢測數據實時通過ros topic 發布出去。以供基於ROS機器人操作系統的開發人員及相關科研人員使用。
詳細教程請進入yolox-ros-deepstream
最終視頻檢測效果請進入yolox-ros-deepstream檢測
CDR子項目(五)(resnet10+ros+deepstream for python )--------(Jetson Nano and X_86)
該項目利用
deepstream的python接口,基於英偉達針對性優化的resnet10.caffemodel模型,可利用英偉達新推出的(TAO) Toolkit工具包進行自定義數據集訓練及模型優化,並繼承及CDR項目祖傳的ros接口。不僅能在Jetson系列平台使用,通過docker容器技術,也可在X_86平台實現快速部署。經測試,該模型在Jetson Nano上可實現高達30fps的幀率(檢測四種目標),准確率可達90%以上(接近yolov5)。
