全球最大的3D數據集公開了！標記好的10800張全景圖

本文轉載自查看原文 2018-06-26 17:48 3144 圖像處理

Middlebury數據集 http://vision.middlebury.edu/stereo/data/

KITTI數據集簡介與使用 https://blog.csdn.net/solomon1558/article/details/70173223

http://www.dataguru.cn/article-12197-1.html

摘要: 一路走來，Matterport見證了3D數據集在深度學習多領域的巨大力量。我們在這個領域研究了很久，希望將一部分數據分享給研究者使用。令人興奮的是，斯坦福、普林斯頓、TUM等的研究人員聯手給大量的空間打了些標簽，並 ...

工具模型深度學習商業智能 ETL

你一定不想錯過這個全球較大的公開3D數據集。

本文作者為Matt Bell，是3D掃描解決方案提供商Matterport的聯合創始人、首席戰略官。在本文中，Bell親述Matterport公開的這個數據集細節，我們隨他去看看。

一路走來，Matterport見證了3D數據集在深度學習多領域的巨大力量。我們在這個領域研究了很久，希望將一部分數據分享給研究者使用。令人興奮的是，斯坦福、普林斯頓、TUM等的研究人員聯手給大量的空間打了些標簽，並將標記數據以Matterport 3D數據集的形式公開出來。

這是目前世界上較大的3D公開數據集，其中的標注意義重大。

像ImageNet、COCO這種比較大的2D數據集創建於2010年左右，是高精2D圖像分類系統工具。我們希望Matterport這種3D+2D的數據集也能提升AI系統的認知力、理解力，帶動3D研究的發展。

Matterport的行業影響力巨大，從增強現實、機器人技術、3D重構到更好地理解3D圖像，我們一直在推進。

數據集“魔盒”

數據集中包含了10800張尺寸相同的全景圖（RGB+深度圖像），這些圖片是從90個建築場景的194400張RGB色彩模式的深度圖像中挑選出來的，圖像均用Matterport的Pro 3D相機拍攝。

這些場景的3D模型已經用實例級對象分割做了標記，你可以在 https://matterport.com/gallery 網站中交互式探索不同的Matterport 3D重建模型。

幾種不同的解鎖姿勢

很高興地告訴大家，這個數據集非常實用。下面我將介紹Matterport研究的幾個方向。

目前，我們內部用這個數據集做過這樣一個系統，將用戶拍攝的照片分割成房間，並將其分類。這個系統的表現不錯，甚至在沒有門或隔斷隔開情況下，也能分辨出不同的房間類型（例如廚房和餐廳）。

此外，我們也在學習用深度學習方法填充3D傳感器夠不到的區域。這方便了用戶快速拍攝廣闊的開放空間，如倉庫、購物中心、商業地產、工廠和新類型的房間等。

不妨看一個簡單的示例。在這個例子中，我們的算法通過顏色和局部深度，預測深度值和深度傳感器的表面方向(法向量)。由於這些區域太遠，無法被深度傳感器探測到。

其實，我們還能用它在用戶拍攝的空間中划分出不同對象。與現在3D模型不同的是，這些完全分割的模型能較精確識別空間中的物體。這樣就解鎖了很多使用姿勢，包括自動生成含有空間內容和特征的詳細列表，並自動看到不同家具在空間中的樣子。

我們還有個小目標，比如讓任何空間能夠被索引、搜索、排序和理解，讓用戶找到想要的東西。

比如，你想找到個地方度假，你希望那里有三間大卧室，配備着現代化廚房，客廳內還有內置的壁爐，在陽台上能看到下面的池塘風景，還有一扇落地窗？我們可以做到。

比如，你想盤點辦公室里所有家具，想比較建築工地上的管道和CAD模型是否一致？也so easy。

論文中還展示了一系列其他用例，包括通過深度學習的特性提高特征匹配、二維圖像的表面法向量估計，以及識別基於體素模型的架構特征和對象等。

我們的下一步

正如上面所說，你可以使用這些數據、代碼和論文，我們很願意聽聽大家是如何使用它們的，也很期待與研究機構合作開展一些項目。

如果你對3D和更大的數據集感興趣，也歡迎加入我們，感謝參與項目的所有人。

最后，附數據集地址：

https://niessner.github.io/Matterport/

Code地址：

https://github.com/niessner/Matterport

論文下載地址：

https://arxiv.org/pdf/1709.06158.pdf

歡迎來到3D世界！

歡迎加入本站公開興趣群

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754

計算機視覺·常用數據集·3D

Multiview

3D Photography Dataset

Multiview stereo data sets: a set of images

Multi-view Visual Geometry group’s data set

Dinosaur, Model House, Corridor, Aerial views, Valbonne Church, Raglan Castle, Kapel sequence

Oxford reconstruction data set (building reconstruction)

Oxford colleges

Multi-View Stereo dataset (Vision Middlebury)

Temple, Dino

Multi-View Stereo for Community Photo Collections

Venus de Milo, Duomo in Pisa, Notre Dame de Paris

IS-3D Data

Dataset provided by Center for Machine Perception

CVLab dataset

CVLab dense multi-view stereo image database

3D Objects on Turntable

Objects viewed from 144 calibrated viewpoints under 3 different lighting conditions

Object Recognition in Probabilistic 3D Scenes

Images from 19 sites collected from a helicopter flying around Providence, RI. USA. The imagery contains approximately a full circle around each site.

Multiple cameras fall dataset

24 scenarios recorded with 8 IP video cameras. The first 22 first scenarios contain a fall and confounding events, the last 2 ones contain only confounding events.

CMP Extreme View Dataset

15 wide baseline stereo image pairs with large viewpoint change, provided ground truth homographies.

KTH Multiview Football Dataset II

This dataset consists of 8000+ images of professional footballers during a match of the Allsvenskan league. It consists of two parts: one with ground truth pose in 2D and one with ground truth pose in both 2D and 3D.

Disney Research light field datasets

This dataset includes: camera calibration information, raw input images we have captured, radially undistorted, rectified, and cropped images, depth maps resulting from our reconstruction and propagation algorithm, depth maps computed at each available view by the reconstruction algorithm without the propagation applied.

CMU Panoptic Studio Dataset

Multiple people social interaction dataset captured by 500+ synchronized video cameras, with 3D full body skeletons and calibration data.

4D Light Field Dataset

24 synthetic scenes. Available data per scene: 9x9 input images (512x512x3) , ground truth (disparity and depth), camera parameters, disparity ranges, evaluation masks.

RGB-D數據集匯總 List of RGBD datasets https://blog.csdn.net/aaronmorgan/article/details/78335436

原文鏈接：http://www.cnblogs.com/alexanderkun/p/4593124.html

This is an incomplete list of datasets which were captured using a Kinect or similar devices. I initially began it to keep track of semantically labelled datasets, but I have now also included some camera tracking and object pose estimation datasets. I ultimately aim to keep track of all Kinect-style datasets available for researchers to use.

Where possible links have been added to project or personal pages. Where I have not been able to find these I have used a direct link to the data

Please send suggestions for additions and corrections to me at m.firman <at> cs.ucl.ac.uk.

This page is automatically generated from a YAML file, and was last updated on 26 November, 2014.

Turntable data

These datasets capture objects under fairly controlled conditions. Bigbird is the most advanced in terms of quality of image data and camera poses, while the RGB-D object dataset is the most extensive.

RGBD Object dataset

Introduced: ICRA 2011

Device: Kinect v1

Description: 300 instances of household objects, in 51 categories. 250,000 frames in total

Labelling: Category and instance labelling. Includes auto-generated masks, but no exact 6DOF pose information.

全球最大的3D數據集公開了！標記好的10800張全景圖

Middlebury數據集 http://vision.middlebury.edu/stereo/data/

KITTI數據集簡介與使用 https://blog.csdn.net/solomon1558/article/details/70173223

計算機視覺·常用數據集·3D

Multiview

RGB-D數據集匯總 List of RGBD datasets https://blog.csdn.net/aaronmorgan/article/details/78335436

Turntable data

RGBD Object dataset

Bigbird dataset

Segmentation and pose estimation under controlled conditions

Object segmentation dataset

Willow Garage Dataset

'3D Model-based Object Recognition and Segmentation in Cluttered Scenes'

'A Global Hypotheses Verifcation Method for 3D Object Recognition'

'Model Based Training, Detection and Pose Estimation of Texture-Less 3D Objects in Heavily Cluttered Scenes'

Kinect data from the real world

RGBD Scenes dataset

RGBD Scenes dataset v2

'Object Disappearance for Object Discovery'

'Object Discovery in 3D scenes via Shape Analysis'

Cornell-RGBD-Dataset

NYU Dataset v1

NYU Dataset v2

'Object Detection and Classification from Large-Scale Cluttered Indoor Scans'

SUN3D

B3DO: Berkeley 3-D Object Dataset

SLAM, registration and camera pose estimation

TUM Benchmark Dataset

Microsoft 7-scenes dataset

IROS 2011 Paper Kinect Dataset

'When Can We Use KinectFusion for Ground Truth Acquisition?'

DAFT Dataset

ICL-NUIM Dataset

'Automatic Registration of RGB-D Scans via Salient Directions'

Stanford 3D Scene Dataset

Tracking

Princeton Tracking Benchmark

Datasets involving humans: Body and hands

Cornell Activity Datasets: CAD-60 and CAD-120

RGB-D Person Re-identification Dataset

Sheffield KInect Gesture (SKIG) Dataset

RGB-D People Dataset

50 Salads

Microsoft Research Cambridge-12 Kinect gesture data set

UR Fall Detection Dataset

RGBD-HuDaAct

Human3.6M

Datasets involving humans: Head and face

Biwi Kinect Head Pose Database

Eurecom Kinect Face Dataset

3D Mask Attack Dataset

Biwi 3D Audiovisual Corpus of Affective Communication - B3D(AC)^2

ETH Face Pose Range Image Data Set

免責聲明！