ShapeNet： An Information-Rich 3D Model Repository
注：本論文只是講述數據庫建立方法
摘要
ShapeNet是一個有豐富注釋的大型形狀存儲庫，由對象的3D CAD模型表示，這是一組數據集，對每個3D模型提供多種予以注釋，包括一致性的剛性對齊，零件等等。
1. Introduction
1.計算三維形狀的分割並建立它們之間的對應關系是幾何形狀分析中的兩個基本問題。
2.計算機視覺現在比較火熱的從2D圖像中理解場景是視覺領域的一大挑戰，這些研究的根源在於需要將語義附加到三維形狀的表示中，並在大規模上這樣做。
3.但是對於3D內容采用數據驅動方法所面臨的一個關鍵瓶頸是缺乏可供社區使用的大規模、經過策划的3D模型數據集。
提出數據庫的目標：
- 收集並集中三維模型數據集，幫助組織研究社區的工作。
- 支持需要3D模型數據的數據驅動方法。
- 能夠評估和比較涉及幾何的基本任務（例如，分割、對齊、對應）的算法。
- 用作表示真實世界對象及其語義的知識庫。
2.Background and Related Work
在線3D模型數量大幅增長，但是很少3D模型集合可以提供有效的組織和注釋，很少為單個模型提供有意義的文本描述，所以利用率低。
Princeton Shape Benchmark可能是迄今為止最著名和最常用的3D形狀集合，但是比較小。相比之下，在計算機視覺和相關領域，已經有了一系列收集、組織和標記大型數據集的活動。
因此……
3.ShapeNet: An Information-Rich 3D Model Repository
ShapeNet是一個大型、信息豐富的3D模型存儲庫。它包含跨越多種語義類別的模型。與以前的三維模型存儲庫不同，它為每個模型提供了大量的注釋集，以及存儲庫中的模型與存儲庫外的其他多媒體數據之間的鏈接。
在以下部分中，將討論如何為ShapeNet收集3D模型，將添加哪些注釋，如何生成這些注釋，隨着數據集的發展，注釋將如何更新，以及將為社區提供哪些工具來搜索、瀏覽和利用現有數據，以及貢獻新數據。
3.1 Data Collection
1.原始3D模型數據來自公共在線存儲庫或現有研究數據集。
2.雖然為這個項目開發的工具是通用的，但我們打算只包括日常世界中人們遇到的物體的三維模型。
3.2 Annotation Types
ShapeNet將包含一組豐富的注釋，這些注釋提供關於這些模型的語義信息，在它們之間建立鏈接，並鏈接到其他形式的數據（例如圖像）。
- 與語言相關的注釋：按基本類別命名對象對於索引、分組和鏈接到相關數據源非常有用。
- 幾何注釋：將ShapeNet與圖像和視頻數據集區分開來的一個關鍵特性是3D幾何圖形表示真實世界結構的保真度。1.剛性對齊：為每個模型建立一致的規范方向（例如，垂直和正面）對於各種任務非常重要；2.零件和關鍵點；3.對稱；4.對象大小
- 功能注釋：許多物品，尤其是人造物品，如家具和電器，都可以被人類使用。功能注釋描述了這些使用模式。1.功能部件：部件對於理解物體結構、涉及3D形狀的人類活動和人體工程學產品設計至關重要。2.啟示：我們對功能和活動特定的啟示注釋感興趣。此類注釋的示例包括支持平面注釋和用於各種對象操作的可抓取區域注釋。
- 物理注釋：真實對象存在於物理世界中，通常具有固定的物理屬性，如尺寸和密度。1.表面材料；2.重量
3.3 Annotation Methodology
純粹使用人工收集注釋看似合理，但是通常使用混合方法。對可能的注釋類型，首先通過算法預測每個模型實例的注釋，然后，我們將通過crowd-sourcing pipelines和人類專家的檢查來驗證這些預測
3.4 Annotation Schema and Web API
4.Annotation Acquisition and Validation
構建ShapeNet的一個關鍵挑戰是獲取和驗證注釋的方法。我們的目標是提供高精度的所有注釋。在尚未進行全面驗證的情況下，我們的目標是估計每個注釋的置信度，並記錄其來源。這將使其他人能夠正確估計我們提供的信息的可信度，並將其用於不同的應用。
4.1 類別注釋
將每個3D模型分配給WordNet分類法中的一個或多個語法集。總體來說還是采用混合方式。
4.2 Hierarchical Rigid Alignment
這一步的目標是為每個類別中的模型建立一致的規范化方向。
盡管一致取向的概念似乎很自然，但有一個問題必須解決。我們用一個例子來解釋。“扶手椅”、“椅子”和“座椅”是我們分類法中的三個類別，每個類別都是其后續類別的子類別。通過檢查手臂、腿部和背部，可以很好地為“扶手椅”類別中的形狀定義一致的方向。然而，很難定義“椅子”類別。例如，“側椅”和“轉椅”都是“椅子”的子類別，然而，轉椅的腿結構與大多數側椅截然不同。對“座椅”的定義變得更加模糊，它有“凳子”、“沙發”和“椅子”等子類別。然而，直立方向的概念仍然適用於分類學的大部分層次。
在上述討論之后，自然會提出一種分層對齊方法，其基本思想是按照ShapeNet的分類法，以自下而上的方式對模型進行分層對齊。
4.3. Parts and Keypoints
對於零件，通過算法生成分割，然后讓用戶接受或修改這些分割中的零件，可以加快獲取速度。
4.4. Symmetry Estimation
4.5. Physical Property Estimation
在給定的絕對尺寸下，我們現在通過填充體素化計算每個模型的總實體體積。
5.Current Statistics
在撰寫本技術報告時，ShapeNet已經為大約300萬個模型編制了索引。
6. Discussion and Future Work
- Additional annotation types
- Correspondences
- RGB-D data ：傳感器捕捉現實世界
- Annotation coverage
7.總結
作者堅信，ShapeNet將在以下幾個方面為多個研究社區提供非常有用的資源：
- Data-driven research
- Training resource
- Benchmark dataset