基於深度學習的2D和3D仿射變換配准

計算機視覺工坊 3天前

 

以下文章來源於AI公園 ，作者ronghuaiyang

AI公園

做一個生產真正有用的AI內容的公眾號。

點擊上方“計算機視覺工坊”，選擇“星標”

干貨第一時間送達

---

作者：Sarath Chandra

編譯：ronghuaiyang

導讀

將配准從2D場景擴展到3D場景。

 

上周我開發了一個基於深度學習的2D可變形圖像配准的基本框架，並演示了如何從MNIST數據集中配准手寫數字圖像。除了損失函數和架構上的細微差別外，該框架本質上與VoxelMorph框架相同。

本周，我的任務是將該實現擴展到3D，並在一個包含150個T1-weighted掃描的小數據集上進行試驗。通過對現有代碼進行一些細微的更改，我能夠實現原始的VoxelMorph模型。我使用一個掃描作為靜態圖像，其余的作為移動圖像(125用於訓練，25用於測試)。

樣本輸出

配准效果不佳的原因是這些volumes沒有去掉頭骨。會議上有人向我指出，腦提取是配准的一個重要預處理步驟，即去除顱骨和眼睛等非腦組織。

基於深度學習的仿射配准

我想看看像剛性變換和仿射變換這樣的簡單變換是否有效。所以我很快修改了代碼來做無監督的2D仿射配准。這個想法是空間變壓器網絡的一個簡單推論。

2D仿射變換配准的Colab notebook：https://colab.research.google.com/drive/1drp2ny2t-nxddkt4pezn6mtjehnfccw

方法

卷積神經網絡以移動圖像和靜態圖像為輸入，計算使移動圖像彎曲和對齊到靜態圖像所需的仿射變換參數。在二維配准的情況下，這些參數有6個，控制旋轉、縮放、平移和剪切。

訓練卷積神經網絡輸出兩幅輸入圖像之間的仿射變換參數T，空間變壓器網絡利用這些參數對運動圖像進行變換。

空間變壓器block取仿射參數和運動圖像，執行兩項任務：

• 計算采樣網格
• 使用采樣網格重新采樣移動圖像

在規則網格上應用仿射變換得到新的采樣網格，即運動圖像的采樣點集。將輸出中的每個位置映射到輸入中的一個位置，使用如下公式：

由於新的采樣位置可以是非積分的，雙線性插值用於可微的采樣，並允許梯度流回卷積神經網絡，使整個框架端到端可微。

訓練

MNIST數據集經過篩選，只保留一類圖像，而靜態圖像是從篩選后數據集的測試集中隨機選擇的。使用歸一化交叉相關(NCC)訓練網絡。數學上是：

S和M分別代表靜態圖像和運動圖像。下標mea和std分別表示圖像的均值和標准差。圖像中所有像素的求和。該訓練在Tesla K80 GPU上大約需要5分鍾，在CPU (i5-8250U)上大約需要10分鍾。

2D的結果

擴展到3D

我修改了2D配准的代碼，使其適用於3D volumes，並在T1-weighted掃描上進行了嘗試。AIRNet的工作，與此相似。但與AIRnet不同的是，它是在監督的方式下訓練的，並且需要ground-truth仿射變換參數，這是在無監督的方式下訓練的，就像VoxelMorph。

3D的結果

 

— END—

英文原文：https://medium.com/@sarathchandra.knv31/deep-learning-based-2d-and-3d-affine-registration-da73df8d2f24

本文僅做學術分享，如有侵權，請聯系刪文。 下載1在「計算機視覺工坊」公眾號后台回復： 深度學習，即可下載深度學習算法、3D深度學習、深度學習框架、目標檢測、GAN等相關內容近30本pdf書籍。
下載2在「計算機視覺工坊」公眾號后台回復： 計算機視覺，即可下載計算機視覺相關17本pdf書籍，包含計算機視覺算法、Python視覺實戰、Opencv3.0學習等。
下載3在「計算機視覺工坊」公眾號后台回復： SLAM，即可下載獨家SLAM相關視頻課程，包含視覺SLAM、激光SLAM精品課程。

重磅！計算機視覺工坊-學習交流群已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿 微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流群，目前主要有ORB-SLAM系列源碼學習、3D視覺、CV&深度學習、SLAM、三維重建、點雲后處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、深度估計、學術交流、求職交流等微信群，請掃描下面微信號加群，備注：”研究方向+學校/公司+昵稱“，例如：”3D視覺 + 上海交大 + 靜靜“。請按照格式備注，否則不予通過。添加成功后會根據研究方向邀請進去相關微信群。原創投稿也請聯系。

▲長按加微信群或投稿

▲長按關注公眾號

3D視覺從入門到精通知識星球：針對3D視覺領域的知識點匯總、入門進階學習路線、最新paper分享、疑問解答四個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發布3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業為一體的鐵桿粉絲聚集區，近2000星球成員為創造更好的AI世界共同進步，知識星球入口：