Hololens配准調研

關鍵詞：hololens，registration

搜索網站：xueshu.baidu.com

搜索結果簡單描述

• 2019-HoloLens-Based AR System with a Robust Point Set Registration Algorithm：hololens點雲配准算法
• 2019-Preliminary Experiment of the Interactive Registration of a Trocar for Thoracoscopy with HoloLens Headset： 本文利用Microsoft全息頭戴式耳機，提出了第一個基於混合現實框架的套管針導引軟件原型。外科醫生首先使用CT掃描確定插入的位置和方向，以便在插入套管針時盡量減少損傷患者內臟的風險，然后在介入過程中交互式注冊可能會幫助他或她。在本文中，我們描述了這種交互式配准的計算步驟序列和首次得到的結果。
• Multicenter Assessment of Augmented Reality Registration Methods for Image-guided Interventions：在將全息三維（3D）模型對准真實環境的過程中，評估手動和自動配准時間以及增強現實的精度。方法：在兩個學術中心進行不同階段臨床訓練的18名參與者連續3次使用hololens2增強現實耳機在CT網格上注冊3D CT模型。比較不同注冊方法（手勢、Xbox控制器和自動注冊）、臨床經驗水平和連續嘗試的注冊時間和准確性。配准時間也與之前的hololens1數據進行了比較。沒有介紹詳細的配准方法。
• Registration made easy -- standalone orthopedic navigation with HoloLens：我們提出一種手術導航方法，包括術中表面數字化注冊和直觀全息導航椎弓根螺釘放置完全在微軟全息透鏡上運行。模型實驗的初步結果表明，該方法可以滿足臨床精度要求。
• 2019-A Marker-Less Registration Approach for Mixed Reality–Aided Maxillofacial Surgery: a Pilot Evaluation：在這項工作中，我們設計了一個應用程序，為病人的PET-CT信息無標記注冊。該算法結合了從RGB視頻流中提取的面部Marker，以及HMD Microsoft HoloLens提供的所謂的空間映射API。
• 2018-Development of a Mixed Reality Platform for Lateral Skull Base Anatomy：
• 2019-Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses：基於點雲配准的精度分析
• 2018-Augmenting Microsoft's HoloLens with vuforia tracking for neuronavigation：下面的工作研究了使用專有圖像處理SDK Vuforia對全息透鏡的增強，允許整合來自其前置RGB相機的數據，以提供更穩定的空間全息圖用於神經導航。
• 2019-Joint Point Cloud and Image Based Localization For Efficient Inspection in Mixed Reality：因此，我們提出了一種新的點雲和基於圖像的聯合定位方法（JPIL）。
• 2020-A research of surgical navigation system of mixed reality based on image registration：本文研究了一種更適合使用Microsoft全息鏡頭作為手術導航儀器的配准方法。手術導航過程中最重要的一步是將虛擬模型與相應的病灶進行配准。我們的配准方法主要是：首先利用vuforia中的三維模型識別進行粗配准，然后提取經過全息透鏡掃描的模型和真實場景的點雲數據，最后利用法向量幾何特征提取點雲數據的特征點，然后利用ICP算法進行精細配准。本文提出的配准方法解決了傳統ICP算法容易陷入局部最優的問題，在一定程度上提高了配准精度。
• 2018-Augmented Reality-Based Personalized Virtual Operative Anatomy for Neurosurgical Guidance and Training：采用精確的配准方法映射虛擬現實空間信息，將虛擬手術大腦覆蓋在工作空間上。？？具體是什么方法呢？
• 2019-Image-based marker tracking and registration for intraoperative 3D image-guided interventions using augmented reality：這里我們描述了一種使用Microsoft Hololens投影CT掃描，然后將投影與一組基准標記對齊的方法。在獲取CT掃描之前，將帶有獨特二維碼的無線電不透明貼紙貼在物體上。提取標記在CT掃描中的位置，並將CT掃描轉換為三維表面對象。然后用全息透鏡將三維物體投影到一張桌子上，上面放着同樣的標記。我們設計了一個算法，將三維對象上的標記與表上的標記對齊。
• 2019-Commentary: Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses：配准精度分析；
• 2018-Mixed_Reality_Guided_Radiofrequency_Needle_Placement_A_Pilot_Study: 然后，采用定制的精確配准方法對虛擬現實空間信息進行映射。摘要中沒有具體說明。
• 2019-Pattern Recognition and Mixed Reality for Computer-Aided Maxillofacial Surgery and Oncological Assessment：因此采用模式識別算法在目標面部正確放置分段PET-CT掃描。為了記錄這種系統的有效性和評價率，醫生和工程師小組被要求根據標准ISO-9241/110評估和評估最終的原型。
• 2018-Neurosurgical burr hole placement using the Microsoft HoloLens：基於marker手動配准；
• 2019-HoloInjection: augmented reality support for CT-guided spinal needle injections：開發了一個原型AR應用程序，使用混合現實眼鏡Microsoft HoloLens引導針頭插入脊柱目標。在一項對比研究中，我們嘗試測量系統的配准精度，並評估了三種關於可實現的面內和面外針定向誤差的制導可視化概念。結果表明，AR原型具有較高的配准精度，可以有效地減小面外定位誤差。
• 2020-Augmented reality improves procedural efficiency and reduces radiation dose for CT-guided lesion targeting: a phantom study using HoloLens 2

配准方法分類

• 基於marker的配准實現：
  • 2019-HoloLens-Based AR System with a Robust Point Set Registration Algorithm：
  • Registration made easy -- standalone orthopedic navigation with HoloLens
  • 重點關注：2019-A Marker-Less Registration Approach for Mixed Reality–Aided Maxillofacial Surgery: a Pilot Evaluation
  • 重點關注：2019-Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses
  • 2019-Joint Point Cloud and Image Based Localization For Efficient Inspection in Mixed Reality
  • 2020-A research of surgical navigation system of mixed reality based on image registration
  • 2018-Augmented Reality-Based Personalized Virtual Operative Anatomy for Neurosurgical Guidance and Training：借助NDI，hololens上面安裝marker，實現空間配准；
  • 重點關注：2019-Image-based marker tracking and registration for intraoperative 3D image-guided interventions using augmented reality：基於視覺識別的方法
  • 2018-Mixed_Reality_Guided_Radiofrequency_Needle_Placement_A_Pilot_Study: 利用了NDI
  • 2019-HoloInjection: augmented reality support for CT-guided spinal needle injections：Optical Tracking
  • 重點關注：2020-Augmented reality improves procedural efficiency and reduces radiation dose for CT-guided lesion targeting: a phantom study using HoloLens 2 hololens2 and Vuforia
• 手動配准實現：
  • 2019-Preliminary Experiment of the Interactive Registration of a Trocar for Thoracoscopy with HoloLens Headset：future work：我們繼續我們的工作，以便通過使用Unity最近提供的基於標記的功能來簡化注冊過程（Vuforia library）
  • 2018-Development of a Mixed Reality Platform for Lateral Skull Base Anatomy
  • 2018-Augmenting Microsoft's HoloLens with vuforia tracking for neuronavigation：Vuforia Tracking
  • 2018-Neurosurgical burr hole placement using the Microsoft HoloLens

配准具體實現

重點關注：2019-A Marker-Less Registration Approach for Mixed Reality–Aided Maxillofacial Surgery: a Pilot Evaluation

使用到的軟件有：

• MeVisLab，用於重建分割，網格生成；
• OpenCV for Unity
• Dlib FaceLandmarkDetector
• Unity3D, Hololens, VS2017, HoloToolkit

利用 facial landmark detection進行配准。

完整的流程圖如下：

詳細說明如下：

• hololens利用RGB相機以及Dlib獲取facial landmarkers (https://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Kazemi_One_Millisecond_Face_2014_CVPR_paper.pdf)
• 上一步驟獲取的是二維的坐標，需要轉換成三維的坐標，相機在世界坐標系的位置， Spatial Mapping scene 使用unity raycasting算法 (簡單理解就是將相機看到的點，轉換到世界坐標系下面，)
• ........看不懂

沒看懂獲取的facial landmarker怎么用來配准的？就算知道了facial landmarker對應的3D坐標？

重點關注：2019-Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses

基准配准誤差（FRE）定義為兩點雲中對應皮膚基准點之間距離的均方根（RMS）。

因此，我們決定使用手動基准點匹配使用迭代最近點算法。 利用HN(holographic navigation)應用程序進行點匹配，以匹配真實物體上的虛擬全息圖。HN應用能夠自動計算出FRE。使用到的marker如下：

左邊是3D打印出來的結果，當HN識別pointer后，會自動的將全息影像投影到實際物體，顯示右邊的結果。

具體操作過程如下：

• 在網格數據中選擇對應的標記點（MarkersA）；
• 使用實際的pointer指向實際物體的標記點的位置，當HN識別實際pointer之后，會自動的將全息影像投影到實際物體，voice命令（Point），就會在實際標記點出添加虛擬標記點（該識別過程利用了：image-recognition Vuforia Library）。
• 對所有的標記點執行相同的處理過程，添加的所有的標記點為（MarkersB）；
• 執行“an iterative closest point algorithm”，將MarkersA和MarkersB進行配准；
• 完成實際對象和虛擬對象直接的配准過程；

重點關注：2019-Image-based marker tracking and registration for intraoperative 3D image-guided interventions using augmented reality

• 在CT掃描之前，需要將VisiMarker方式到對象的皮膚上；
• 利用ChARUCO和針孔相機模型，標定holollens的內參；
• 其次，為了校正全息圖和相應標記之間的錯位，對全息圖的位置偏移進行測量、建模和校正；
• CT數據中分割出marker（April Tags）；
• 將CT數據中分割出來的marker和看到的marker進行比對，完成配准過程；

最后兩部的示意圖如下：

重點關注：2020-Augmented reality improves procedural efficiency and reduces radiation dose for CT-guided lesion targeting: a phantom study using HoloLens 2 hololens2 and Vuforia

關鍵內容如下：

Automated registration of the 3D model to CT grid was performed using computer vision and Vuforia 9.0.12 with the CT grid as the image target. Features on the CT grid can be reliably and quickly detected by Vuforia12, and studies have validated the accuracy of Vuforia on HoloLens。

CT grid如下圖：

利用grid完成配准。

others

• optitrack for unity ：https://optitrack.com/support/downloads/plugins.html#unity-plugin