IEEE VR
2019
Motion parallax for 360◦ RGBD video(源碼暫未公布)
disocclusion(遮擋圖像的去除) 一種在虛擬現實頭顯為360°視頻添加視差和實時回放的方法 背景： 現有的視頻回放不能響應用戶頭部的平移運動，可能會給用戶帶來模擬器病的困擾 給定360°視頻以及它對應的深度，簡單的基於圖像的渲染方法使用深度生成3d網格，可以相應用戶頭部平移。然而這種方法有看得見的扭曲以及使網格不連續 解決方案： 從輸入的視頻獲得深度圖(由現有的360縫合算法或現成的深度學習算法提供) 將給定的初始深度圖改進為更干凈的和自然的輪廓 依賴三層場景表示(一個前景層和兩個靜態背景層) 輸入的視頻+深度作為前景層 一個背景層表示遮擋物 另一個背景層表示遮擋物后面的背景 從第一個背景層的多幀傳播信息處理不一致性，再修復第二個背景層 貢獻： 為現有的360°視頻提供了6自由度的觀看體驗(不需要新的捕捉和硬件要求)
MegaParallax: Casual 360° Panoramas with Motion Parallax
binocular disparity(雙目視差，左右眼看到的畫面不同) motion parallax(運動視差，視點改變時看到的畫面不同) 背景： 用戶可以用手機捕獲360°全景圖 全景圖缺少運動視差(在不同的視點不會提供不同的畫面) 研究由頭部平移運動引起的運動視差是十分重要的 三維立體全景圖提供的左右眼全景圖是靜態縫合的所以也缺少運動視差 帶貼圖的三維幾何重建方法能提供運動視差，但是有看得見的重建噪點 解決方案： 基於單個相機的多視角全景圖表示方式(用相機轉360°) 不需要依靠不可靠的場景幾何重建 是一種基於圖像渲染的方法 貢獻： 是第一個讓普通消費者捕捉到帶雙目視差和運動視差的實時高質量360°全景圖的方法
Deep Learning-Based Approach For Automatic VR Image Upright Adjustment
背景:
相機朝向不是直的，獲得的VR圖像沒有垂直對齊(在VR頭顯中圖像傾斜)
解決方案：
基於深度學習的自動校正VR圖像的方法
貢獻：
返回校正后的視圖
Dense 3D Scene Reconstruction from Multiple Spherical Images for 3-DoF+ VR Applications
背景：
解決方案：
基於多個球狀圖像的室內場景3維幾何重建
探索大的光流替代算法獲得相應的點
使用交叉驗證和幾何限制檢測和移除關於形變和遮擋的不好的匹配點
貢獻：
根據參考畫面生成稠密的深度圖
提供3個自由度+的沉浸式體驗
Real-time panoramic depth maps from omni-directional stereo images for 6 DoF videos in virtual reality
一種使用CNN從全方位立體圖(ODS images)獲得6自由度全景視頻的方法
解決方案:
用cnn實時地從ODS圖生成一些深度圖，這些深度圖允許全景圖像重投影因此能給VR中的觀察者提供6自由度的體驗
貢獻:
提出了新的邊緣權重誤差函數以及新的關於全景圖像拼接的誤差度量
Exploration of Large Omnidirectional Images in Immersive Environments
背景:
導航對在沉浸式環境中探索數據是一個主要挑戰，特別是在大型全向球形圖中。
貢獻：
提出了一個自動縮放的方法允許使用者在不同焦點的物理空間的安全范圍內用遠程傳輸進行導航
該方法結合了物理導航和虛擬傳輸
使用縮放鏡頭評估了我們的系統和其它不同的傳輸轉換
目標視圖會從縮放透鏡中完全擴張直到將使用者包圍
The Effect of Camera Height, Actor Behavior, and Viewer Position on the User Experience of 360° Videos
背景:
360°視頻能夠用頭顯來獲得沉浸式的體驗，然而觀看體驗是如何被360°視頻的基本屬性影響還沒被弄明白，例如視頻到底記錄了多高，是否有人靠近相機
解決方案:
進行了一個24人參與的研究
研究內容：
觀看體驗是否被下列屬性影響：
1.相機高度
2.出現在視頻中的人的接近和行為
3.觀看者站或坐的位置
結論:
觀看者自己的高度對首選相機的高度和體驗幾乎沒有影響
對於站和坐而言最優的相機高度大概位於150厘米
某些情況下，相機太矮或者人離相機很近會對體驗有負面影響
貢獻:
能夠更好地理解和設計沉浸式360°體驗
Live Stereoscopic 3D Image With Constant Capture Direction of 360 Cameras for High-Quality Visual Telepresence
背景：
為了捕捉遙遠的3d畫面，系統要使用傳統的附在機器人腦袋上的3d相機
然而相機旋轉時生成的低質量圖的延遲和運動模糊容易造成VR病
解決方案：
一種叫作TwinCam的方法
使用兩個360°相機，保持它們的距離為標准瞳孔間距，並保持它們在世界坐標系下的鏡頭方向不變即使它們繞頭部的軸線旋轉並沿着眼睛的位置移動
這種方法能抑制圖像緩沖因為每個相機在固定捕捉方向時都能捕捉全方向圖
貢獻：
介紹了我們相機系統的設計和它在視覺遠程呈現中的潛力
我們的相機機制能減少運動模糊和VR病
Efficient Hybrid Projection For Encoding 360 VR Videos
背景：
過去5年，市場上賣了成噸的360VR相機
360VR視頻無所不在，然而數字工業的360VR視頻的標准化依然引起熱議
盡管ERP被廣泛用於虛擬現實視頻的投影和打包布局，但它在極軸處有嚴重的投影失真
解決方案：
新的使用混合圓柱投影的編碼和存儲360VR視頻的格式
貢獻：
能夠生成平衡的像素扭曲，最小化結果投影的拉伸比例
2018
Parallax360: Stereoscopic 360 Scene Representation for Head-Motion Parallax
方法： 一種新穎的360°場景表示方法來將真實場景轉化為立體帶頭部運動視差的三維虛擬現實內容 這種基於圖像的場景表示能夠有效合成6自由度的新畫面 在一下兩個方面用到了運動場： 1.視差運動場攜帶隱含深度信息並且它能從多個橫向偏移的輔助視點被估計出來 2.成對的運動場能夠實現實時的基於流的混合，從而通過最小化重影和畫面轉換的噪點改進結果的視覺逼真度 貢獻： 開發了一個系統： 1.它能用帶有相機的機械臂捕捉真實場景 2.處理記錄的數據並將場景實時渲染到頭顯上(大於40HZ) 這是第一個在觀看真實360°場景支持頭部運動視差的方法
The Effect of Transition Type in Multi-View 360° Media
背景： 360°圖像和視頻成為了沉浸顯示的極受歡迎的形式 許多體驗都是用單個相機視點 越來越多的體驗用的是多個相機位置 當用戶從一個相機位置到另一個相機位置時需要視覺效果 貢獻： 調研了沉浸式MV360M(multi-view 360◦media)體驗中的平移類型的效果(31個參與者戴頭顯，體驗四個靜態的場景，三個由多個360°圖像組成，一個由重建3d模型組成) 調研了以下三種平移方式： 1.teleport 2.線性移動穿過場景中的3d模型 3.使用莫比烏斯變換的基於圖像的轉換 度量標准： 1.空間感知 2.用戶的移動輪廓 3.轉換偏好 4.穿過空間的主觀感受
Generating VR Live Videos with Tripod Panoramic Rig
背景： 將真實生活的內容轉化為VR需要復雜的計算，現有的技術不能合成高質量的360°三維VR內容也不能實時合成 解決方法： 端到端的系統 能夠用三角全景支架記錄場景和實時廣播360°立體全景視頻(>30fps) 基於圖像渲染
Detection Thresholds for Rotation and Translation Gains in 360° Video-based Telepresence System
背景： 遠程傳輸系統能夠克服現實世界的距離限制，因為它使人們可以遠程訪問和交互 現在的遠程傳輸系統通常缺少自然的方法來支持遙遠環境(remote environments REs)的交互和探索 單個捕捉RE的網絡相機只提供有限的空間存在的幻象 現在的遠程傳輸系統中的移動設備的移動控制受限於簡單的交互設備 讓用戶在本地環境(local environment LE)控制遙遠環境的機器平台運動是面臨的主要挑戰之一 解決方案： 重定向行走(redirected walking (RDW))是解決這個問題的合適方法 貢獻： 進行了兩個實驗： 多少人可以在感覺不到遙遠環境虛擬路徑的重定向，這與他們在本地環境的實際行走路徑是不同的 1.參與者在本地環境進行直線平移，並且被映射到遠程的360°視頻中的直線平移，參與者評估遠程的平移感知比真實的物理場景中的平移是更快還是更慢(分析了本地和遠程平移的區別) 2.參與者在本地環境進行旋轉，並且被映射到遠程的360°視頻中的旋轉，參與者評估遠程的旋轉感知比真實的物理場景中的旋轉是更快還是更慢(分析了本地和遠程旋轉的區別) 結論： 當虛擬平移向下縮放5.8%到向上縮放9.7%以及虛擬旋轉慢12.3%或快9.2%時參與者不能分辨本地的物理運動和遠程環境360°視頻的虛擬運動
Gaze-aware streaming solutions for the next generation of mobile VR experiences
視頻流服務轉發的新穎方法 利用鑲嵌在下一代VR頭顯中的相連的眼睛追蹤器的信息 提升用戶觀看地方的視頻質量，降低其他地方的視頻質量 減少VR視頻體驗總的帶寬，傳遞高質量的用戶感知 結果： 與傳統方法相比在傳遞高質量的體驗時減少了將近83%的帶寬
[2017](http://ieeevr.org/2017/program/papers.html#360° Video Cinematic Experience)
MR360: Mixed Reality Rendering for a 360° Panoramic Videos
一種新穎的叫做MR360的沉浸式系統 在頭顯中使用傳統的低動態范圍(low dynamic range LDR)的360°全景視頻提供了混合現實(MR)的體驗 使用輸入的全景視頻作為光源照亮虛擬物體 探測全景視頻中的光源並用來產生可感知的陰影 利用實時360視頻流為頭顯提供高質量的渲染效果的可交互的MR場景 ###[6-DOF VR Videos with a Single 360-Camera](https://ieeexplore.ieee.org/abstract/document/7892229)
背景： 單目360視頻是VR頭顯最流行的內容，但是缺少3d的信息，所以不能以6個自由度觀看 解決方案： 通過一種新的可以合成新的帶有視點旋轉和平移運動的視圖的彎曲算法來解決這個限制 生成的可回放VR視頻幀率>120fps 是帶有6個自由度的立體視頻 貢獻： 使輸入的單目360視頻文件可以在頭顯中以6個自由度的立體形式進行展示 ###[Cinematic Virtual Reality: Evaluating the Effect of Display Type on the Viewing Experience for Panoramic Video](https://ieeexplore.ieee.org/abstract/document/7892230)
cinematic virtual reality (CVR)(影院級的虛擬現實) 背景： 市場上的頭顯賣得很好，影院級的虛擬現實越來越受歡迎 內容： 探索了幾個代表CVR相對於傳統觀看形勢(例如電視)的優缺點的度量 邀請了63個參與者進行試驗，探索了以下三種顯示全景視頻的系統： 1.頭顯 2.SurroundVideo+(SV+ 環繞視頻+) 3.標准的16:9的電視 結論： 頭顯在享受和空間感知方面有顯著優勢 SV+在享受方面優於傳統電視 ###[ScreenX: Public Immersive Theatres with Uniform Movie Viewing Experiences](https://ieeexplore.ieee.org/abstract/document/7414506)
背景： 傳統地在側邊牆上顯示內容會根據觀看者的位置導致圖像扭曲 影院里不同的寬高和深度會有不同的視覺體驗 解決方案： ScreenX是一款可以讓普通地電影院變成多投影的電影院的新穎電影觀看平台 讓大眾享受沉浸式的視覺體驗 左右兩邊的牆將會被用來形成屏幕 生成的電影視圖將會帶來強烈的沉浸感 減小側邊牆上圖像的平均扭曲程度
2016
Adaptive 360 VR Video Streaming Based on MPEG-DASH SRD
[四元數（Quaternion）和旋轉](https://www.cnblogs.com/mimime/p/6192427.html) 背景： 360VR視頻需要很大的帶寬，如何在質量可接受的情形下有效傳輸360VR視頻到無線VR頭顯呢？ 解決方案： 自適應的帶寬高效的基於MPEG-DASH SRD的360VR視頻流系統 將[MPEG-DASH SRD](http://delivery.acm.org/10.1145/2920000/2910606/a5-niamut.pdf?ip=219.224.167.179&id=2910606&acc=ACTIVE%20SERVICE&key=BF85BBA5741FDC6E%2E478E8F2EC4A762F8%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35&__acm__=1553063197_ac5fe0d137a71cc35498e21305d5586c)擴展到360VR視頻的3維空間 解決了無線VR頭盔對360VR視頻流的高帶寬需求 將底層三維網格空間划分為多個三維自網絡，構建了一個稱為六面體的高效的三維幾何網格，以最佳方式表示三維空間中平鋪的360VR視頻 每一幀追蹤用戶視角，將在用戶視角內的內容以高比特率的方式傳輸，不在用戶視角內的以低質量的內容傳輸 貢獻： 在最小化質量影響的條件下節省了360VR視頻流72%的帶寬(與傳統方法相比) ###[Adaptive 360 VR Video Streaming: Divide and Conquer](https://ieeexplore.ieee.org/document/7823595)
背景： 球狀的360VR視頻需要很大的帶寬，以讓人可以接受的質量傳輸是很困難的 解決方案： 使用分治算法的自適應帶寬高效的360VR視頻流系統 動態視覺感知的適應技術來解決360VR視頻流大量帶寬的需求 在編碼和打包的時候將視頻划分為很多塊 使用MPEG-DASH SRD來描述360度空間中塊的空間關系 優先處理在用戶視野里的塊 為了描述塊的關系，我們將MPEG-DASH SRD擴展到了360VR視頻的3d空間，對底層網格進行了空間划分並構建了有效的被稱為六面體球的幾何網格來代表3d空間中被塊狀化的360VR視頻 貢獻： 在最小化質量影響的條件下節省了360VR視頻流72%的帶寬(與傳統方法相比) ##[2015](http://ieeevr.org/2015/)
2014
Stereoscopic rendering of virtual environments with wide Field-of-Views up to 360°
背景： 現有的基於圖像和幾何的方法通常在立體兼容、GPU友好和處理非平面投影的不連續上面不是特別有效 解決方案： 一種最多可達360°的寬視野的立體渲染虛擬場景的方法 一個新的預剪輯階段，特別適用於跨越投影不連續的多邊形會出現問題的幾何方法 可以實時渲染三維寬視野圖片
ISMAR
2018
A User Study on MR Remote Collaboration Using Live 360 Video
deictic gesture(指示手勢) 背景： 在現代社會網絡平台上分享和觀看實時360全景視頻是能夠實現的 交流通常是被動的單向的體驗 研究內容： 如何通過添加混合現實(MR)線索改善基於實時360全景圖的遠程協作體驗 貢獻： 弄了一個叫做SharedSphere的可穿戴混合現實遠程合作系統，能夠通過MR可視化無語言交流線索，從而豐富實時捕捉的全景協作 研究了在使用基於可穿戴MR的遠程合作系統的實時360全景視頻的合作中的視圖獨立性的好處 揭示了如何設計基於實時360全景視頻的MR遠程合作接口
SIGGRAPH
2018
Scene-Aware Audio for 360° Videos
背景： 360相機為捕捉視頻添加真實的360°音效是一個不小的挑戰 解決方案： 一種為典型室內場景的360°視頻添加場景感知的空間音效的方法(只是用傳統的單頻道麥克風和揚聲器就能實現)
2017
Low-cost 360 stereo photography and video capture
背景： 大量消費者使用的球狀相機出現使得大眾負擔得起的單目360°X180°球狀全景照片和視頻VR內容創造成為可能 單目內容沒法立體顯示 現在創造立體全景圖的設備太復雜 解決方案： 使用兩個360°球狀相機合成全方位立體全景圖 貢獻： 降低設備花費 利用現成的裝備 輕量級 調查了什么樣的幾何處理讓用戶體驗更佳
2016
Rich360: Optimized Spherical Representation from Structured Panoramic Camera Arrays
背景： 使用多個相機拍攝360°全景視頻有兩個主要的問題：下采樣造成的重疊區域的視差以及豐富度的丟失 解決方案： 提供了Rich360——一款創建和觀看從固定在一個支架上的多個相機拍攝的360°全景視頻的系統 可變形球狀投影表面被用來最小化多個相機的視差 根據從互相重疊的視頻區域的深度約束估計對表面進行時空變形 貢獻： 提升了360°視頻的豐富度
Asia
2016
360◦ Video Stabilization
背景： 記錄360°視頻的360°相機可以被尋常人家買到 避免手持相機的抖動沒那么簡單 解決方案： 提供了新的360°視頻穩定算法可以移除旋轉運動，優化彈性形變模型來去除平移運動、視差和卷簾擺動中的殘差抖動 一種使用可變形旋轉運動模型的穩定360°視頻的混合2d-3d的算法 用3d分析來估計相鄰關鍵幀的旋轉 對於其他幀使用2d優化來最大化特征點軌跡的視覺平滑度
IEEE Confereces
2018
Content-Adaptive 360-Degree Video Coding Using Hybrid Cubemap Projection
一種改進360°視頻編碼效率的混合立方圖投影(hybrid cubemap projection HCP)
BAS-360°: Exploring Spatial and Temporal Adaptability in 360-degree Videos over HTTP/2
背景： 360視頻流網絡服務很受歡迎 360°視頻流需要過高的帶寬 現有的解決方案大多數都是只高質量地傳遞用戶感興趣的地方(region of interest ROI) 解決方案： 叫做BAS-360°的方法 在不同區域的比特率選擇上考慮了空間和時間適應性 通過選擇更重要的區域來最小化帶寬
2017
Aerial virtual reality 360 research-creation
一種空中VR360視頻捕捉方法(無人機搭載消費者級別的360球狀全景相機)
Dual-fisheye lens stitching for 360-degree imaging
背景： 雙重魚眼鏡頭越來越多地被用到360沉浸式成像中 兩個鏡頭視圖的重疊區域和錯誤對齊使得縫合邊界不連續 解決方案： 適應性地最小化重疊區域不連續性來生成完整的球狀360度圖像的方法
Deep 360 Pilot: Learning a Deep Agent for Piloting through 360° Sports Videos
[源碼、數據集和視頻演示](http://aliensunmin.github.io/project/360video/) 背景： 看360°運動視頻需要觀察者連續選擇視角，通過一系列的鼠標點擊或頭部運動 解決方案： 叫作deep 360 pilot的方法 自動幫用戶選擇合適的視角的代理人 每一幀，代理人觀察全景圖，結合之前幀的視角得出下一個最合適的視角並幫助觀看者調整畫面，使用戶不需要動鼠標和頭部自動獲得最佳畫面內容體驗