一些顯著性檢測方法

近年來，全卷積神經網絡FCN自適應的從原始圖像中提取高級語義信息，在很多任務取得了好的效果。然而這些最新的模型主要集中於從最后一個卷積層提取的高級特征的非線性組合，由於缺乏對象邊緣等底層視覺信息，這些方法的預測結果往往存在局部性較差的對象邊界。由此注意到三個最本質的問題，1.如何同時利用多層次潛在顯著性線索；2.如何方便的找到最優的多層次特征聚合策略；3.如何有效的保持顯著目標的邊界。

提出了一種多級特征聚合網絡Amulet，利用來自多個層次的卷積特征作為顯著性線索進行顯著性目標檢測，AmuletNet將多層次特征集成到多個分辨率中，學習在每個分辨率上組合這些特征，並以遞歸方式預測顯著性映射。

2018

BDMP：

FCN在密集預測任務中取得了令人印象深刻的結果，雖然采用FCN的模型在顯著性檢測也取得了很好的效果，但是仍然存在兩個問題。首先，大多數基於FCN的顯著性預測模型依次疊加單尺度卷積層和最大池化層來生成深層特征，由於感受野有限，學習的特征可能不包含豐富的上下文信息來精確的檢測具有不同尺度、形狀和位置的對象。其次，早期的研究主要利用深卷積層的高級特征來預測顯著性圖。低層空間細節的缺乏可能會使顯著性地圖無法保留精細的物體邊界。這激發了一些努力利用多水平卷積特征進行顯著性檢測。Hou等人建議在多個側面輸出層之間增加短連接，以結合不同層次的特性。然而，短連接只從深側輸出層到淺側輸出層，而忽略了相反方向的信息傳輸。因此，深側輸出仍然缺少淺側輸出層中包含的低級細節。張等的另一個作品通過連接高級別和低級別的特征映射來聚合多級特征。然而，在不考慮重要性的情況下，直接將各個層次的特征圖串聯起來，並不是有效融合它們的最佳方法。由於多層次特征並不總是對每個輸入圖像有用，這種聚合方法會導致信息冗余。更重要的是，在某些級別上不准確的信息會導致性能下降甚至錯誤的預測。因此，設計一種機制來過濾不需要的特征，並使每個層次上的有益特征與其他層次相適應地融合，就顯得尤為重要。

針對第一個問題，本文設計了一個多尺度的上下文感知特征提取模塊（MCFEM）來獲取多尺度的上下文信息。對於每個側輸出，通過疊加具有不同感受野的擴張卷積層獲得多個特征映射。然后將特征圖進行融合，在多個尺度上捕獲目標和有用的圖像上下文。對於第二個問題，本文引入了一個門控雙向消息傳遞模塊（GBMPM），我們采用了正向的結構來在不同層次的特征之間傳遞消息。在這種結構中，深層的高層語義信息傳遞給淺層，而包含在淺層中的低級空間細節則以相反的方向傳遞。因此，每個層次都包含了語義概念和細節。此外，我們使用門函數來控制消息的傳遞，從而傳遞有用的特征，而丟棄多余的特征。GBMPM提供了一種自適應和有效的策略來合並多層次特性。這些集成的特性相互補充，並且對於處理不同的場景非常健壯。總之，模型中的MCFEM和GBMPM協同工作，以精確地檢測顯著對象。

PAGR：

許多最新的方法通過將多層次卷積特征結合在一起來設計顯著性模型。然而，並非所有特征對顯著性檢測都同等重要，有些特征甚至會引起干擾。注意機制為圖像特征增加了權重，提供了一種可行的解決方案。在一幅圖像中，並不是所有的空間位置都以同樣的方式對顯著性預測做出貢獻，有時會存在一些背景區域，這些區域會產生干擾。同樣，不同的特征通道對前景或背景有不同的響應。有些信道對前景有很高的響應，有些信道對雜波背景有明顯的響應。此外，在現有的基於CNN的方法中，顯著性值是通過處理多尺度邊輸出卷積特征來估計的。然而，較淺層次的主干特征提取網絡，如VGG和ResNet，缺乏獲取全局語義信息的能力，從而產生混亂的結果。因此，有必要提出一種從本質上細化網絡的方法。基於遞歸的方法，如RFCN[27]在網絡的輸出和輸入之間建立了連接。將前一級的顯著性映射傳送到下一級進行細化。但由於與原始圖像的拼接，顯著性先驗的影響被大大削弱。網絡可以得到一定程度的改進，但仍然不能產生足夠有效的特征。

基於通道和空間注意機制，本文提出了一個漸進的注意驅動框架，它選擇性地整合了多層次的上下文信息。利用該框架，我們提出的方法可以輸出更有效的特征，從而減少背景干擾。本文還利用多徑遞歸反饋對漸進式注意力引導網絡進行迭代優化。通過引入多徑遞歸連接，將全局語義信息從頂層卷積層傳遞到較淺層，從本質上提高了網絡的特征學習能力。

PiCANet：

現有的模型都是綜合利用上下文區域來構造上下文特征，將每個上下文位置的信息整合在一起。直觀地說，對於一個特定的圖像像素，並不是所有的上下文信息都有助於它的最終決定。一些相關區域通常更有用，而其他噪聲響應則應丟棄。如果我們能夠識別相關的上下文區域並為每個像素構造信息上下文特征，就可以做出更好的決策。然而，這一重要問題並沒有用現有的方法加以解決。

本文提出了一種新的像素級上下文注意網絡PiCANet，來學習每個圖像像素的信息上下文區域。它通過為每個像素生成上下文注意，對軟注意模型進行了顯著改進，這對於整個神經網絡社區來說是一個真正新穎的想法。具體地說，PiCANet學習在每個像素的上下文區域上生成軟注意，其中注意權重指示每個上下文位置與被引用像素的相關性。然后對來自上下文區域的特征進行加權和聚合，該特征只考慮信息上下文位置而忽略每個像素的有害位置。結果表明，所提出的PiCANets能夠顯著地簡化顯著性檢測任務。為了合並不同范圍的上下文，我們將PiCANet分為兩種形式：全局PiCANet和局部PiCANet，分別有選擇地集成全局上下文和局部上下文。此外，我們的PiCANets實現是完全可微的。因此，它們可以靈活地嵌入到ConvNets中，並實現聯合訓練。我們分層地將全局和局部PiCANets嵌入U-Net體系結構[30]，這是一種具有跳接連接的編譯卷積網絡，用於檢測顯著目標。在譯碼器中，我們逐步地在多尺度特征映射上使用多個全局和局部PiCANets。因此，我們從全局到局部，從粗尺度到細尺度，構造出關注的上下文特征，並利用這些特征增強卷積特征，以便於在每個像素處進行顯著性推斷。

2019

BASNet：

全卷積神經網絡與傳統方法相比取得了顯著的效果，但是其預測的顯著性圖在精細結構和/或邊界上仍然存在缺陷。在精確的顯著目標檢測中存在兩個主要的挑戰：（i）顯著性主要定義在整個圖像的全局對比度上，而不是局部或像素級特征。為了獲得准確的結果，所開發的顯著性檢測方法必須了解整個圖像的全局意義以及對象的詳細結構。為了解決這一問題，需要將多層次深層特征集合起來的網絡；（ii）大多數突出目標檢測方法都使用交叉熵作為訓練損失。但是，使用CE損失訓練的模型在區分邊界像素時通常信心不足，導致邊界模糊。對於有偏訓練集，還提出了其他損失，如聯合交叉（IoU）損失、F-度量損失和骰子得分損失，但它們不是專門為捕捉精細結構而設計的。

本文提出了新的邊界感知網絡BASNet，一種新的預測細化網絡。它將一個類似UNet的深度監督的編解碼器網絡與一個新的殘差求精模塊組裝在一起。編解碼網絡將輸入圖像轉換為概率圖，而精化模塊通過學習粗顯著性映射和地面真實性之間的殘差來細化預測的映射（ii）為了獲得高置信度顯著圖和清晰的邊界，我們提出了一種結合二進制交叉熵（BCE）、結構相似性（SSIM）和IoU損失的混合損失，期望分別從像素級、斑塊級和地圖級學習地面真實信息。我們沒有使用顯式邊界損失（NLDF+，C2S），而是在混合損失中隱含了精確邊界預測的目標，認為這可能有助於減少在邊界和圖像上其他區域上所學信息的交叉傳播產生的偽誤差。

PoolNet：

雖然U型結構取得了良好的性能，但仍有許多不足之處。首先，在U形結構中，高層語義信息逐漸傳遞到較淺的層，因此較深層捕獲的位置信息可能同時被逐漸稀釋。第二，CNN的感受野大小與其層深不成正比。現有的方法通過在U形結構中引入注意機制，以遞歸的方式細化特征映射，結合多尺度特征信息，或者在顯著性映射上添加額外的約束，如邊界損失項。

本文研究如何通過擴展池化技術在U型架構中的作用來解決這些問題。一般來說，我們的模型在特征金字塔網絡的基礎上由兩個主要模塊組成：全局引導模塊（GGM）和特征聚合模塊（FAM）。如圖1所示，我們的GGM由一個改進版的金字塔池模塊（PPM）和一系列全局引導流（GGF）組成。與[37]直接將PPM插入U形網絡不同，我們的GGM是一個單獨的模塊。更具體地說，PPM被放置在主干的頂部，以捕獲全局制導信息（突出目標所在的位置）。通過引入GGFs，PPM收集到的高層語義信息可以傳遞到各個金字塔級的特征地圖上，彌補了U形網絡自上而下信號逐漸被稀釋的缺點。針對GGFs粗層特征圖與金字塔不同尺度特征圖的融合問題，進一步提出了一種以融合后的特征圖為輸入的特征聚合模塊（FAM）。該模塊首先將融合后的特征映射轉換為多個特征空間，以獲取不同尺度下的局部上下文信息，然后將融合后的信息進行組合，以更好地對融合后的輸入特征圖的組成進行加權。

EGNet：

在基於CNN體系結構的方法中，大多數以圖像塊為輸入，利用多尺度或多上下文信息來獲得最終的顯著性圖。輸出顯著性映射的基本單位從圖像區域變成每像素。一方面，由於每個像素都有其顯著性值，因此結果突出顯示了細節。但另一方面，它忽略了對SOD重要的結構信息。隨着網絡接收野的增大，突出物的定位越來越精確。然而，與此同時，空間連貫性也被忽視了。近年來，一些基於U-Net的作品采用雙向或遞歸的方法，利用局部信息來細化高層次特征。然而，突出物體的邊界仍然沒有被顯式地建模。突出的邊緣信息和顯著的目標信息之間的互補性還沒有被注意到。此外，還有一些方法使用預處理（Superpixel）或后處理（CRF）來保持對象邊界。這些方法的主要不便是推理速度慢。

在本文中重點研究了顯著邊緣信息和顯著目標信息之間的互補性。目的是利用突出的邊緣特征來幫助突出的物體特征定位物體，特別是它們的邊界。

SCRN：

近年來，卷積神經網絡（CNNs）極大地推動了計算機視覺的研究。早期的深度顯著目標檢測模型利用分類網絡來確定圖像的每個區域是否顯著。這些模型生成的結果比傳統模型好，但計算開銷大。基於全卷積網絡的方法進一步推動了顯著目標檢測的發展。這些作品通過設計合理的譯碼器來提取有區別的多層次特征並將其聚合在一起，達到了最先進的性能。此外，研究人員還試圖利用突出目標檢測和邊緣檢測這兩個任務之間的互補信息。一些策略使用邊緣標簽來改進分割網絡的訓練過程：在分割網絡的末端添加輔助邊界損失，設計僅使用邊緣信息的單向框架，以提高分割特征的表示能力。雖然已有的研究表明，融合邊緣特征有利於生成更精確的分割圖，但也存在邊緣特征不准確的問題。而現有的邊緣感知框架並沒有充分利用邊緣信息。

本文研究了二值分割與邊緣映射的相互關系，指出邊界映射中的邊界區域是相應分割圖中目標區域的適當子集。受此啟發，我們提出了一種新的邊緣感知顯著目標檢測方法，即堆疊交叉細化網絡（SCRN），該方法在兩個任務之間雙向傳遞消息，同時細化多層次邊緣和分割特征。我們首先從一個共享的主干網中提取兩組獨立的多層次深層特征，並利用它們構造兩個並行解碼器：一個用於邊緣檢測，另一個用於顯著目標檢測。提出了一種將二元邏輯單元（CRU）向不同層次的邏輯單元（CRU）擴展的邏輯單元（CRU）。通過端到端的方式連續堆疊多個cru，兩個任務的多層次特性逐漸得到改善。結合兩個獨立的U-Net結構，我們的框架同時檢測突出的對象和邊緣，並在精確度和效率上優於最先進的算法。

BANet：

SOD仍然存在兩個需要進一步解決的關鍵問題。首先，大型突出對象的內部可能具有較大的外觀變化，使得難以整體地檢測突出對象。第二，突出物體的邊界可能非常弱，以致於無法將其與周圍的背景區域區分開來。由於這兩個問題，即使在深度學習時代，SOD仍然是一項具有挑戰性的任務。通過對這兩個問題在對象內部和邊界的進一步研究，我們發現挑戰可能主要來自選擇性不變性困境。在內部中，由SOD模型提取的特征應該對尺寸、顏色和紋理等各種外觀變化保持不變。這種不變的特征確保了突出對象可以作為一個整體輸出。。然而，邊界上的特征應該同時具有足夠的選擇性，以便能夠很好地區分突出物體和背景區域之間的細微差別。換言之，突出對象的不同區域對SOD模型提出了不同的要求，這種困境實際上阻礙了具有不同大小、外觀和上下文的突出對象的完美分割。

一個可行的解決方案是在目標內部和邊界采用不同的特征提取策略。受此啟發，我們提出了一種基於圖像的超氧化物歧化的邊界感知網絡。如圖2所示，網絡首先提取共同的視覺特征，然后將它們傳送到三個獨立的流中。在這三個流中，邊界定位流是一個簡單的子網絡，其目的是提取用於檢測突出對象邊界的選擇性特征，而內部感知流則強調特征在檢測突出對象時的不變性。此外，采用過渡補償流來修正可能發生在內部和邊界之間的過渡區域中的可能失效，其中特征要求從不變性逐漸變為選擇性。此外，為了提高內部感知流和過渡補償流的能力，提出了一個集成的連續膨脹模塊，以提取出視覺模式的視覺變量特征。最后，對這三個流的輸出進行自適應融合，生成顯著目標的掩模。此外，我們的方法展示了在精細尺度上精確分割顯著邊界的令人印象深刻的能力。

2020

PFPNet：

由於CNN的層次結構，深度模型可以提取包含低級局部細節和高層全局語義的多層次特征。為了充分利用細節信息和語義信息，可以直接將多級上下文信息與不同層次的特征進行串聯或元素級添加相結合。然而，由於特征在一定程度上是雜亂無章和不准確的，這種簡單的特征集成往往會得到次優的結果。因此，最近最有吸引力的進展集中在設計這些多層次特性的復雜集成上。我們從三個方面指出了現有方法的缺點。首先，很多方法采用U-Net類似的結構，在特征聚合過程中，信息從高層次流向低層次，而BMPM在連續級別之間使用雙向消息傳遞來合並語義概念和精細細節。然而，這些在多層次特征之間間接執行的集成可能會由於產生的長期依賴問題而不足。二是其他作品以深度到淺的方式遞歸地細化預測結果，以補充細節。然而，預測的顯著性圖丟失了豐富的信息，精化能力有限。此外，雖然可以通過設計復雜的結構來包含多層次的特征來引入有價值的人的先驗知識，但是這個過程可能很復雜，並且結構可能缺乏通用性。

為了充分利用語義信息和細節信息，提出了一種新穎的漸進式特征拋光網絡（PFPN）用於顯著目標檢測，該網絡簡單、整潔、有效。首先，PFPN采用遞歸的方式，並行地逐步打磨各個層次的特征。隨着拋光的逐步進行，雜亂的信息會被剔除，多層次特征也會得到修正。由於這種並行結構可以保持主干網的特征電平，所以一些常見的解碼器結構可以很容易地應用。在一個特征拋光步驟中，直接融合所有深層特征更新每個層次特征。因此，高層語義信息可以直接集成到所有低級特征中，避免了長期依賴問題。綜上所述，漸進式特征拋光網絡極大地改善了多層次表示，即使采用最簡單的級聯特征融合，PFPN也能很好地准確地檢測出顯著目標。

GCPANet：

基於FCN的方法還存在以下幾個問題：（1）由於不同層次特征之間的差距，語義信息和外觀信息的簡單組合不夠充分，缺乏考慮不同特征對顯著目標檢測的不同貢獻；（2）以往的研究大多忽略了全局上下文信息，這有利於推導多個顯著區域之間的關系，產生更完整的顯著性結果。

為了解決上述問題，我們提出了一種新的全局上下文感知漸進聚合網絡（GCPANet），它由四個模塊組成：特征交織聚合（FIA）、自精化（SR）、頭部注意（HA）和全局上下文流（GCF）模塊。考慮到多層次特征之間的特征差異，我們設計了FIA模塊，充分集成了高層語義特征、低層次細節特征和全局上下文特征，既能抑制噪聲又能恢復更多的結構和細節信息。在第一個FIA模塊之前，我們在主干的頂層增加了一個HA模塊，以增強對突出對象的空間和信道響應。在聚合之后，特性將被輸入到SR模塊中，通過利用特性中的內部特性來細化特性映射。考慮到上下文信息有助於捕獲多個突出對象之間或突出對象不同部分之間的關系，我們設計了一個GCF模塊，從全局的角度來利用這種關系，有利於提高突出對象檢測的完整性。此外，高級特征將在自上而下的路徑上被稀釋。通過引入GCF，將包含全局語義的特征在不同階段傳遞到特征映射中，減輕了特征稀釋的影響。該方法可以處理復雜場景理解（高亮度天花板干擾）或多目標關系推理（乒乓球拍和球）。

LDF：

邊緣像素和非邊緣像素之間的不平衡性使得邊緣預測變得困難。因此，直接以邊緣為監督可能導致次優解。邊緣附近的像素對應於比遠處像素大得多的預測誤差。這些具有高預測誤差的像素既包括邊緣像素，也包括許多其他靠近邊緣的像素，這些像素被最近的邊緣感知方法忽略。大多數能夠大大提高SOD性能的硬像素沒有得到充分利用，而僅僅使用邊緣像素會因為邊緣像素和背景像素分布不平衡而帶來困難。相比之下，遠離邊緣的像素具有相對較低的預測誤差，更易於分類。然而，傳統的顯著性標簽對顯著性對象內的所有像素都是平等的，這可能會導致預測誤差較小的像素受到邊緣附近像素的干擾。

針對上述問題，我們提出了標簽解耦框架。LDF主要由標簽解耦過程和特征交互網絡組成。如圖3所示，通過LD將顯著性標簽分解為主體圖和細節圖。與單純的邊緣映射不同，細節圖由邊緣和鄰近像素組成，充分利用了邊緣附近的像素，使得像素分布更加均衡。主體貼圖主要集中在遠離邊緣的像素上。在不受邊緣像素干擾的情況下，體圖可以監督模型學習更好的表示。相應地，FIN設計了兩個分支來分別適應體圖和細節圖。對FIN中的兩個互補分支進行融合，預測其顯著性映射，然后再利用該映射對兩個分支進行再細化。這種迭代求精過程有助於獲得逐漸精確的顯著圖預測。

MINet：

如何從尺度變化數據中提取更有效的信息以及如何在這種情況下提高預測的空間一致性，仍然需要關注兩個問題。由於顯著區域的尺度不同，基於CNN的方法由於重復的子采樣而缺乏必要的詳細信息，因此難以一致准確地分割出不同尺度的顯著目標。另外，由於卷積運算固有的局限性和交叉熵函數的像素級特性，很難實現物體的均勻高亮顯示。對於第一個問題，現有方法的主要解決方法是逐層整合淺層特征。一些方法通過傳輸層將編碼器中相應級別的特征連接到解碼器。單級特征只能表征尺度特定的信息。在自上而下的路徑中，由於深層特征的不斷積累，使得細節在淺層特征中的表現能力減弱。為了利用多層次特征，一些方法以完全連接的方式或啟發式風格組合來自多個層的特征。然而，融合過多的特征和不同分辨率之間缺乏平衡，容易導致計算成本高、噪聲大和融合困難，從而干擾了自頂向下路徑下的后續信息恢復。此外，atrus空間金字塔池模塊（ASPP）和金字塔池化模塊（PPM）用於提取多尺度上下文感知特征並增強單層表示。然而，現有的方法通常將這些模塊安裝在編碼器后面，由於頂層特征的低分辨率的限制，使得它們的網絡漏掉了許多必要的細節。對於第二個問題，一些現有的模型主要使用一個特定的分支或附加的網絡來細化結果。然而，這些方法都面臨着計算冗余和訓練困難的問題，不利於進一步的應用。

本文提出一種聚合交互策略（AIM），以更好地利用多層次特征，避免因分辨率差異大而導致的特征融合干擾。為了進一步從提取的特征中獲得豐富的尺度信息，我們設計了一個自交互模塊（SIM）。訓練兩個不同分辨率的交互分支，從單個卷積塊學習多尺度特征。AIMs和SIMs有效地提高了處理SOD任務中尺度變化的能力。在這兩個模塊中，相互學習機制包含在特征學習中。每個分支都可以通過交互式學習更靈活地整合來自其他解決方案的信息。在AIMs和SIMs中，主分支由輔助分支補充，其識別能力進一步增強。此外，多尺度問題也會導致數據集中前景區域和背景區域的嚴重不平衡，因此我們在訓練階段嵌入了一個對目標尺度不敏感的一致性增強損失（CEL）。同時，由於CEL的梯度具有保持組內一致性和擴大類間差異的特點，可以更好地處理空間一致性問題，在不增加參數的情況下均勻地突出顯著區域。

ITSD：

考慮到輪廓和顯著區域的相關性，設計了一個FCF（Feature Correlation Fusion）模塊，網絡通過雙流交互輪廓信息和顯著區域信息，逐漸優化網絡。每一層都有中間監督。

RAS（TIP2020）：

先利用深層特征生成一個初始預測（這一步也可以使用hand-craft提取的特征），設計了一個翻轉注意模塊，利用殘差學習不斷優化學習上一層丟失的信息。

U2Net（PR2020）：

CSF：

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 圖像顯著性檢測 LC/HC Java實現相關性的顯著性檢驗顯著性檢測(saliency detection)評價指標之NSS的Matlab代碼實現【顯著性檢測】Saliency Detection via Graph-Based Manifold Ranking 三種顯著性檢測算法（SR，HFT，GBMR） EIGENSTRAT計算PCA的顯著性視覺顯著性頂尖論文總結相關性分析及其顯著性檢驗顯著性論文學習階段總結（二） NMDS分析+ANOSIM組間差異顯著性檢驗