這篇博客主要是整理了PointNet提出者祁芮中台介紹PointNet、PointNet++、Frustum PointNets的PPT內容，內容包括如何將點雲進行深度學習，如何設計新型的網絡架構，如何將架構應用的3D場景理解。
作者主頁：https://stanford.edu/~rqi/
B站視頻：https://www.bilibili.com/s/video/BV1HE411g7tA
PPT下載鏈接:https://pan.baidu.com/s/105MRbBmCv4Tj6GYTMbS67w 提取碼:z930
參考：https://www.cnblogs.com/Libo-Master/p/9759130.html
該PPT中涉及到的文獻有：
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation
PointNet++： Deep Hierarchical Feature Learning on Point Sets in a Metric Space
Frustum PointNets：Frustum PointNets for 3D Object Detection from RGB-D Data
1、pointnet局部特征學習，平移和視角變換的不變性。
2、部分填充數據丟失的魯棒性。
3、采樣率變化的魯棒性。
4、外形相似的分類魯棒性。
FQA：
1、pointnet沒有考慮點與點之間的關系
2、關鍵點是可視化出來的
3、未來的主流是結合2D和3D，3D有精確的幾何信息，但是它的分辨率比較低，近期傳感器還不能跟上圖像的分辨率，圖像有很高的分辨率，還有精細的textures(紋理)
4、激光雷達采樣是近密遠疏，pointnet++本身有些能夠處理采樣不均的問題，如果你知道點雲的分布，你可以加一些位置，加一些權重，調節權重。
5、未來發展趨勢？point net++結果不太穩定，怎么取的最佳結果？一定程度由modelnet的datasize限制的，建議對test shape多次旋轉取平均的結果。
6、pointnet++中的code中沒有用到T-Net，release code 中沒有用到T-Net,因為他們發現，在modelnet中T-Net對分類性能提升不大，pointnet++已經學到了局部特征，所以它對旋轉不敏感。
7、pointnet++具有對局部幾何變換的不變性嗎？局部加一些T-Net結構是不合理的，因為局部變換了，並不能保證不同局部的變換是統一的，如果要實現統一性，實際上需要一些capsulenet 的work。
8、點雲特征提取和2D的顏色信息有關嗎？在最簡單的假設下可以是無關的，光是xyz的坐標就已經提高了幾何的信息，理論上不用其他的信息就已經完成了很多的任務，RGB是錦上添花的特征。
9、為什么用1024維這么高的數據集？bottle net layer 這一維是很關鍵的，太小，會限制網絡的capability能力。
10、為什么采用FPS這種采樣方法？因為這種采樣方法是采盡可能遠的點，最終實現的結果是對空間的比較均勻的降采樣，希望達到均勻采樣的結果，其他方法有很多，比如隨機采樣，但是效果可能沒有FPS方法好，最近也有這方面的許多工作，這里的研究空間比較大。
11、點雲的表達會是3D未來的方向嗎？會是一個主要的方向，3D本身的應用場景很多，不同的場景對不同的數據類型有不同的傾向，在3D的場景理解中點雲是重要的形式，在其他中就不一定了，比如建模中、可視化中、仿真中可能會傾向於不同的數據類型。
12、如何看待GCN在點雲中的應用？GCN和pointnet++有很多相通的地方，兩者都是在3D中尋找局部，然后在局部定義某種操作，然后形成多級的網絡架構，其實是非常相似的，甚至可以相互變換。point net++的優點是，不僅限制在2D和3D，也適合3D，有的網絡結構只能處理3D。