說明文檔:
https://berkeleyautomation.github.io/dex-net/code.html
=======================Dex-Net==========================
Dex-Net 2.0
是一個HDF5文件數據集,包含了1500個物體到模型,平行夾具抓取點,抓取魯棒性矩陣。
Dex-Net Object Mesh Database v1.1
是物體網格類型文件數據集。
對於Dex-Net 1.0,一個3D物體多視角下拍攝到圖片,輸入到MV-CNN,輸出后得到這是哪個物體,
一張物體圖像,用傳統方法標記出的抓取點,和力封閉可能性大小標簽,考慮到手爪位姿不確定性、物體位姿不確定性,所以然后加了湯姆森采樣,得到更新的魯棒的力封閉可能性大小,按照更低的置信區間最大化進行排序,然后存儲到數據庫里面,形成了Dex-Net 2.0數據集
Dex-Net 2.0描述的是,將1.0得到到數據集(帶抓取點的圖片)和深度圖像作為GQCNN的輸入,輸出是抓取質量好壞
用的時候,輸入是深度圖像,首先需要用傳統的方法給出抓取點,然后把它輸入GGQCNN得到每個抓取對應的抓取質量好壞,選擇最好的質量進行抓取。
=======================INSTALLATION==========================
下載Dex-Net
https://github.com/BerkeleyAutomation/dex-net.git
運行安裝文件
在Dex-Net文件夾目錄下,打開終端,輸入
sudo sh install.sh {cpu|gpu} {python|ros}
其中,cpu|gpu 只出現其一,python|ros 只出現其一,並且不要花括號,如下
sudo sh install.sh cpu python
測試安裝
python setup.py test
=======================Overview==========================
運行python腳本
cd /path/to/your/dex-net
python apps/dexnet_cli.py
提示沒有模塊meshpy,需要進入/deps/meshpy下面安裝,再次運行上面到腳本即可
輸入0,
然后輸入data/examples/example.hdf5
*******Note: databse 和 dataset 的區別:
程序中涉及的變量
database:是HDF5文件,包含物體的mesh,抓取點和抓取質量值。
dataset:是mesh文件
1)Database Manipulation
The Dex-Net CLI(數據集命令行交互)可用於打開、讀取、寫入3D物體模型、平行夾具抓取、抓取魯棒性矩陣的HDF5數據集。
2)Point Cloud Dataset Generation
魯棒的抓取規則是基於GQCNN(抓取質量卷積神經網絡)的,對於新鮮物體的抓取規划有用,需要在Dex-Net 2.0數據集上對GQCNN進行訓練。
=======================Examples==========================
需要安裝mayavi模塊,方法:
Mayavi requires at the very minimum the following packages:
VTK >= 5.0 with Python wrapper
numpy >= 1.1.1
setuptools (for installation and egg builds)
Traits >= 3.0 (Traits, TraitsUI and TraitsBackendWX or TraitsBackendQt, EnthoughtBase, AppTools)
參考帖子:https://stackoverflow.com/questions/41960672/how-to-install-mayavi-trait-backends
The following steps worked for me (in a python2 environment):
conda create -yn mayavitest
source activate mayavitest
conda install -yc menpo mayavi=4.5.0
conda install -y pyside
conda install qt
ETS_TOOLKIT=qt4 python /path/to/mayavi-example.py
結論:測試
運行generate_gqcnn_dataset.py,輸入
python tools/generate_gqcnn_dataset.py adv_synth
安裝OpenRAVE
https://scaron.info/teaching/installing-openrave-on-ubuntu-16.04.html
https://fsuarez6.github.io/blog/openrave-trusty/
https://fsuarez6.github.io/blog/workstation-setup-xenial/
Boost version: 1.58.0
安裝FCL
刪除文件命令:sudo rm -rf xx
/home/xiaoqing/anaconda2/lib/python2.7/site-packages/FCL
查看已安裝的包:
pip list
在某一目錄下遞歸[所有子目錄]查找某一字串:
grep -r “字串” 目錄名
就是加一個-r參數,請看man page:
-R, -r, –recursive
===============tensorboard使用=========================================
執行程序,tensorboard生成可視化
進入linux命令行,運行以下代碼,等號后面加上summary日志保存的路徑(在程序第一步中就事先自定義了)
tensorboard --logdir=