特征融合的目的，是把從圖像中提取的特征，合並成一個比輸入特征更具有判別能力的特征。如何正確融合特征是一個難題。
在很多工作中，融合不同尺度的特征是提高分割性能的一個重要手段。低層特征分辨率更高，包含更多位置、細節信息，但是由於經過的卷積更少，其語義性更低，噪聲更多。高層特征具有更強的語義信息，但是分辨率很低，對細節的感知能力較差。如何將兩者高效融合，取其長處，棄之糟泊，是改善分割模型的關鍵。
很多工作通過融合多層來提升檢測和分割的性能，按照融合與預測的先后順序，分類為早融合(Early fusion)和晚融合(Late fusion)。
關於深度特征融合—高低層特征融合，歸納起來共討論了4類方法：
（1）早融合：用經典的特征融合方法：在現有的網絡（如VGG19）中，用concat或add融合 其中的某幾層；
FCN、Hypercolumns—>add
Inside-Outside Net(ION)、 ParseNet 、HyperNet—>concat
變種：用DCA特征融合方法代替concat和add操作；
（2）晚融合：
（2.1）采用類似特征金字塔網絡（FPN）的思想，對特征融合后進行預測。 （FPN一般用於目標檢測，提高小目標檢測能力） 三個變種：
1.YOLO2的方法，只在金字塔的top-down路徑的最后一層進行預測，此外還有 U-Net [31] and SharpMask for segmentation, Recombinator networks for face detection, and Stacked Hourglass networks for keypoint estimation.
2.YOLO3的方法，在金字塔的每一層都進行預測
3.FSSD的方法，對 FPN進行細微改造
（2.2）feature不融合，多尺度的feture分別進行預測，然后對預測結果進行綜合，如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
（3）用一個具有高低特征融合能力的網絡替代普通的網絡，如Densenet；
（4）不進行高低層特征融合，而是在高層特征預測的基礎上，再用底層特征進行預測結果的調整
兩個經典的特征融合方法：
（1）concat：系列特征融合[35]，直接將兩個特征進行連接。兩個輸入特征x和y的維數若為p和q，輸出特征z的維數為p+q；
（2）add：並行策略[36]，[37]，將這兩個特征向量組合成復向量，對於輸入特征x和y，z = x + iy，其中i是虛數單位。
FPN（feature pyramid networks）
特征金字塔是識別不同尺度的目標時常用的結構，但是特征金字塔需要較大的計算量和顯存，所以最近研發的一些探測器都不再使用這種結構。
作者開發出的一種構建特征金字塔的新方法，可以減少額外的對計算量和顯存的消耗。
YOLOv3——引入：FPN+多尺度檢測 (目標檢測)(one-stage)(深度學習)(CVPR 2018)
YOLOv2網絡結構中有一個特殊的轉換層（Passthrough Layer），假設最后提取的特征圖的大小是1313，轉換層的作用就是將前面的2626的特征圖和本層的1313的特征圖進行堆積（擴充特征維數據量），而后進行融合，再用融合后的特征圖進行檢測。這么做是為了加強算法對小目標檢測的精確度。為達更好效果，YOLOv3將這一思想進行了加強和改進。
**YOLO v3采用（類似FPN）上采樣（Upsample）和融合做法，融合了3個尺度（1313、2626和5252），在多個尺度的融合特征圖上分別獨立做檢測**，最終對於小目標的檢測效果提升明顯。（有些算法采用多尺度特征融合的方式，但是一般是采用融合后的單一特征圖做預測，比如YOLOv2，FPN不一樣的地方在於其預測是在不同特征層進行的。）
融合特征的SSD：對小目標的快速檢測
FSSD: Feature Fusion Single Shot Multibox Detector
https://blog.csdn.net/wangxujin666/article/details/83065261
https://blog.csdn.net/Dlyldxwl/article/details/79324944
本文是以SSD為基底進行“改造”的一篇文章。SSD是從網絡的不同層中抽取不同scale的feature直接做predict，所以沒有充分融合不同scale的feature。后續有提出DSSD，RSSD等改進方法，但是因為模型的complexity導致速度變慢很多。**本文借鑒了FPN的思想，重構了一組pyramid feature map，**使得算法的精度有了明顯的提升，速度也沒有太降。先看一張圖直觀感受一下FSSD對比其它算法的效果。
利用多層卷積神經網絡（CNN）特征的互補優勢 進行圖像檢索
高層特征用於度量語義相似度，低層特征用於度量細粒度相似度。給出一個簡單易懂的例子，當查詢圖像是一個建築物時，高層相似性捕捉到的圖像包含一個建築物，而低層相似性則捕獲同一個從屬同類實體的建築物。顯然，低層和高層特征的互補性可以提高查詢圖像與其他候選圖像之間的相似性度量。一些現有的方法試圖利用多尺度無序匯集來進行CNN激活。例如，CNN特征分別從不同層次提取和編碼，然后將這些不同層次的聚合特征進行連接以測量圖像。但直接拼接不能充分利用高層和低層特征的互補性。高層特征可以搜索具有相似語義的候選圖像的集合作為查詢圖像，但是它不足以描述細粒度的細節。因此，高層相似性會削弱低層相似性的有效性，當最近鄰居之間的細粒度差別被區分時，語義相似。
在本文中，我們建議以一種簡單而有效的方式利用不同層次的CNN特征的更多互補優勢。我們的方法試圖突出低層相似性的有效性，當查詢圖像和最近的鄰居之間的細粒度的相似性與相似的語義。換句話說，低層特征用於細化高層特征的排序結果，而不是直接連接多個層。如圖2所示，高層特征不足以描述細節信息，而低層特征則來自背景混亂和語義歧義。以直接拼接的方式，由於高層相似度的影響，低層相似度在區分細粒度差異方面不起重要作用。使用映射函數，我們的方法利用低層特征來測量查詢圖像與具有相同語義的最近鄰居之間的細粒度相似性。在實驗中，我們證明了我們的方法比單層功能，多層連接以及其他基於手工特征的方法更好。