電磁波和光波
長波
中波
短波
分米波
厘米波
毫米波
毫米波指波長介於1~10mm的電磁波
毫米波的波長介於厘米波和光波之間
毫米波雷達頻段為24GHz（用於短中距離雷達，15-30米）和77GHz（用於長距離雷達，100-200米）
光波
紅外線
可見光
紫外線
X射線
物理設備到信息
相機得到的圖像
激光雷達和毫米波雷達得到的點雲數據
Light Detection and Ranging 激光雷達 利用光波進行測量的主動探測方式
radio detection and ranging 無線電探測和測距
信息載體
圖像數據
RGB圖像
紅外圖像
深度圖像也叫距離影像，是指將從圖像采集器到場景中各點的距離（深度）值作為像素值的圖像
點雲數據
采集大量點雲數據
激光雷達點雲的特征表達，包括bev圖、camera/range view圖、point-wise feature、融合特征
16線的LiDAR每秒鍾要處理的點達到了30萬--去除噪聲點
數據采集方式
車不動，車動
DEM 數字高程模型（Digital Elevation Model，簡稱DEM)是通過有限的地形高程數據實現對地面地形的數字化模擬
數字地形模型(Digital Terrain Model，簡稱DTM)
DLG 數字線划地圖(DLG, Digital Line Graphic)
地形圖，本質是投影圖
相機與IMU之間的相對位姿值的是相機坐標系和IMU坐標系之間的變換，包括相對旋轉角和相對平移量。
觸發延時、傳輸延時的存在，傳感器的采樣時間和時間戳的時間不匹配，如下圖所示，從而導致相機和IMU之間存在時間差td
信息視圖
鳥瞰圖(bird’s eye view)
拼接 --標定和時間同步
前視圖/圖像平面
標定和坐標系變換
Lidar + IMU 標定工具 ：lidar_align
IMU全稱 Inertial Measurement Unit ，慣性測量單元，主要用來檢測和測量加速度與旋轉運動的傳感器
quaternion
旋轉，應該是三種坐標變換——縮放、旋轉和平移，旋轉的表示方法
旋轉其實只需要知道一個向量+一個角度，一共4個值的信息
矩陣旋轉： 但矩陣法卻使用了16個元素；
歐拉旋轉： 分別對應x、y、z軸的旋轉角度，矩陣做變換--前后左右上下-矩陣 3*3的矩陣
四元數：實部+ 虛部包含了三個虛數單位，i、j、k，即一個四元數可以表示為為q = w + xi + yj + zk
和其他類型的轉換
軸角到四元數 歐拉角到四元數
雷達
激光雷達- 集激光、GPS 全球定位和慣性測量裝置為一體的系統
國外知名廠商包括有 Velodyne、Ibeo、Innoviz、Leddar Tech和Quanergy等
國內雷達 禾賽 速騰聚創 北醒光子、北科天繪
毫米波雷達 ： 博世、大陸、奧托立夫、德爾福 電裝和 Hella
行易道 隼眼 智波科技、森思泰克、卓泰達
GPS RTK 和IMU ：北斗星、華測導航、星網宇達
圖像傳感器： Sony 舜宇、歐菲光
格式
點雲不同數據格式的轉化方法：ASC,PCD,PLY
ply : Standford Polygon File Format
ASC : Ascii triplets of point
pcd : Point Cloud Library cloud
01.pcd格式文件的顯示效果為靜態 pcl_viewer
點雲獲取、濾波、分割、配准、檢索、特征提取、識別、追蹤、曲面重建、可視化等。支持多種操作系統平台
Point Cloud Library (PCL) pcl文件(.pcd) PCL就在3D信息獲取與處理
02.pcap雷達數據包(100M大小), 其實是一個動態的數據記錄,里面包含了幾百上千個這樣的一幀
pcap包中存儲的是一個時間段的點雲數據，pcap文件的動態效果
按照幀進行存儲，每幀數據包含點雲的直角坐標系和極坐標系下的坐標信息，時間信息，強度信息等，
可以選取某個時間點提取該時間點的點雲信息，
也可以提取一個時間段點雲信息研究變化。
通過可視化軟件，比如 VeloView可 以查看一段時間點雲的效果
機器視覺軟件
visionpro和halcon這兩款機器視覺軟件
常用的就是halcon和visionpro，
上位機
velodyne- VeloView: The Velodyne Lidar Viewer based on Paraview Lidar
VeloView是Velodyne提供的開源點雲可視化與數據分析記錄軟件
robosense（速騰聚創）附帶的上位機
VeloView 能夠對來自 Velodyne HDL 傳感器 （HDL-32E 和 HDL-64E） 實時捕獲 3D 激光雷達數據進行實時可視化
VeloView 也可以播放存儲在 .pcap 文件中的預先錄制的數據
C:\Program Files\VeloView 4.1.3\bin
PCL可視化工具 pcl-viewer linux sudo apt-get install pcl-tools
代碼庫
pcl c++代碼庫
Python中的3D點雲顯示模塊。
例如：PyqtGraph、Vispy、Python-pcl等庫函數
ROS進行點雲顯示: ros中的點雲文件為 PointCloud2 需要的PointCloud2消息類型外還有其他不同的消息，例如GPS的數據
C++ pcl::removeNaNFromPointCloud
python: import sensor_msgs.point_cloud2 as pc2
open3D
標注工具
點雲標注
SUSTechPOINTS:用於自動駕駛的3D點雲注釋平台
https://github.com/VitalYoung/SUSTechPOINTS
LCAS/cloud_annotation_tool
Annotation tool of Lidar Point Coud data
https://github.com/lcas/cloud_annotation_tool
圖像標注
LabelMe: the open annotation tool
點雲格式_PCD
VERSION ：指定PCD文件版本
FIELDS ：指定點可以具有的每個維度/字段的名稱
SIZE ：以字節為單位指定每個尺寸的大小
TYPE ： 將每個維度的類型指定為char。目前接受的類型是：
I - 表示有符號類型int8 (char)，int16 (short)和int32 (int)
U - 表示無符號類型uint8 (unsigned char)，uint16 (unsigned short)，uint32 (unsigned int)
F - 代表float類型
TYPE F F F U F U F U U U
COUNT ：指定每個維度有多少個元素
WIDTH ： 指定點雲數據集中點的寬度
VIEWPOINT ：指定數據集中的點采集的視點
DATA ： 指定點雲數據存儲的數據類型。從版本0.7開始，支持兩種數據類型：ascii和binary。
# .PCD v0.7 - Point Cloud Data file format
VERSION 0.7
FIELDS x y z intensity ring timestamp
SIZE 4 4 4 1 2 8
TYPE F F F U U F
COUNT 1 1 1 1 1 1
WIDTH 15750
HEIGHT 5
VIEWPOINT 0 0 0 1 0 0 0
POINTS 78750
DATA ascii
# .PCD v0.7 - Point Cloud Data file format
VERSION 0.7
FIELDS x y z _ intensity _ ring _ timestamp _
SIZE 4 4 4 1 1 1 2 1 8 1
TYPE F F F U U U U U F U
COUNT 1 1 1 7 1 0 1 -2 1 4
WIDTH 15750
HEIGHT 5
VIEWPOINT 0 0 0 1 0 0 0
POINTS 78750
DATA binary
# .PCD v0.7 - Point Cloud Data file format
VERSION 0.7
FIELDS x y z intensity
SIZE 4 4 4 4
TYPE F F F F
COUNT 1 1 1 1
WIDTH 24530871
HEIGHT 1
VIEWPOINT 0 0 0 1 0 0 0
POINTS 24530871
DATA binary
參考：
https://pointclouds.org/
自動駕駛研發的標注工具 https://zhuanlan.zhihu.com/p/56514817
PCD文件格式（The PCD (Point Cloud Data) file format） https://blog.csdn.net/qq_31511955/article/details/10678593
