論文地址：https://paperswithcode.com/paper/deep-sets
代碼：https://github.com/manzilzaheer/DeepSets
https://github.com/yassersouri/pytorch-deep-sets
https://github.com/dpernes/deepsets-digitsum
摘要
我們研究了定義在集合上的機器學習任務的模型設計問題。與在固定維度向量上操作的傳統方法相反，我們考慮了定義在集合上的目標函數對集合是置換不變的。從人口統計估計[1]到堤壩壓力計數據的異常檢測[2]到宇宙學[3，4]，這些問題普遍存在。我們的主要定理描述了置換不變函數，並提供了一個函數族，任何置換不變的目標函數一定屬於這個函數族。這個函數族具有特殊的結構，即它能使我們設計一種定義在集合上的深度網絡體系結構，並且可以部署在包括無監督學習和有監督學習任務在內的各種情況下。我們還推導出了深度模型中置換等變性的必要和充分條件。我們證明了我們的方法在人口統計估計，點雲分類，集合擴展和離群值檢測上的適用性。
一、引言
典型的機器學習算法，如回歸或分類，是針對固定維度的數據實例設計的。當輸入或輸出是置換不變的集合而不是固定維數的向量時，它們的擴展處理這種情況並非易事，研究人員最近才開始研究它們[5-8]。在本文中，我們提出了一個通用框架來處理機器學習任務中的輸入和可能的輸出實例是集合的情況。
與固定維度數據實例類似，我們可以描述集合情況下的兩種學習范式。在監督學習中，對於集合元素的置換不變或等變的集合，我們有一個輸出標簽。包括諸如人口統計估計[1]之類的任務的例子，其應用范圍從千兆級宇宙學[3，4]到納米級量子化學[9]。
其次，還可以是無監督情況，該情況需要學習"集合"的結構，例如通過利用集合內的同質性/異質性。一個例子是集合的擴展任務 (又稱受眾拓展)，即給定一組彼此相似的對象(如一組詞{lion, tiger, leopard})，我們的目標是從大量的候選對象中找到新的對象，使所選的新對象與查詢集相似（例如，在所有英語單詞中，找到像美洲虎或獵豹這樣的詞）。這是相似性搜索和度量學習中的一個標准問題，典型的應用是在給定少量可能的標簽的情況下找到新的圖像標簽。同樣，在計算廣告領域中，給定一組高價值客戶，目標是找到相似的人。在許多科學應用中，這是一個重要的問題。例如，給定一小組有趣的天體，天體物理學家可能想在大型天體測量中找到類似的天體。
主要貢獻
(i)我們提出了一個基本的體系結構——DeepSets，來處理集合作為輸入的問題，並證明了這個體系結構的性質是充分必要的（第2節）；
(ii)我們擴展了這個體系結構，允許對任意對象進行調節；
(iii)基於這個體系結構，我們開發了一個深度網絡，它可以對不同大小的集合進行操作(第3節)，我們證明了一個簡單的參數共享方案能夠對監督和半監督情況下的集合進行一般處理。
(iv)最后，我們通過對各種問題的實驗證明了我們框架的廣泛適用性（第4節）。
二、置換不變性和等變性
2.1 問題定義
2.2 結構
2.3 相關結果
三、Deep Sets
3.1 架構
3.2 其他相關工作
四、應用和實驗結果
我們介紹了DeepSet的各種應用程序。對於有監督的設置，我們將DeepSets應用於人口統計的估計、數字和和點雲的分類以及帶有聚類輔助信息的回歸。DeepSets的置換等變變化適用於異常值檢測任務。最后，我們研究了DeepSets在無監督集合擴展中的應用，特別是概念集檢索和圖像標記。在大多數情況下，我們將我們的方法與最新技術進行比較，並報告競爭結果。
4.1 設置輸入標量響應
4.1.1 監督學習：學習估計人口統計
在第一個實驗中，我們學習了高斯分布的熵和互信息，而沒有向DeepSets提供任何關於高斯性的信息。高斯矩陣的生成方法如下:
- 旋轉
- 相關性
- 排列1
- 隨機
4.1.2 數字和
接下來，我們比較如果將集合數據作為序列處理會發生什么。我們考慮尋找給定數字集合的和的任務。我們考慮這個實驗的兩個變體：文本和圖片
4.1.3 點雲分類
點雲是一組低維向量。這種類型的數據經常在機器人，視覺和宇宙學等各種應用中遇到。在這些應用中，現有方法通常將點雲數據轉換為體素或網格表示，作為預處理步驟，例如[26，29，30]。由於許多距離傳感器（例如LiDAR）的輸出都是點雲的形式，因此非常需要將深度學習方法直接應用於點雲。此外，與像素化3D對象相比，在處理點雲時應用旋轉和平移等轉換既簡單又便宜。
4.1.4 使用聚類信息改進的紅移估計
宇宙學中一個重要的回歸問題是根據光度學觀測估計星系的紅移，該紅移對應於它們的年齡以及與我們的距離[33]。一種從光度學觀測中估計紅移的方法是在銀河星團上使用回歸模型[34]。每個銀河系的預測不會通過排列星系團成員而改變。因此，我們可以將每個星系團視為一個“集合”，並使用DeepSets來估計各個星系的紅移。有關更多詳細信息，請參見附錄G。
4.2 集合擴展
在集合擴展任務中，我們得到了一組彼此相似的對象，我們的目標是從大量候選對象中查找新對象，以使所選的新對象與查詢集相似。為了實現這一點，需要推理出連接給定集合的概念，然后根據它們與所推斷概念的相關性來檢索單詞。由於潛在的應用范圍很廣，因此這是一項重要的任務，包括個性化信息檢索，計算廣告，標記大量未標記或標記較弱的數據集。
4.2.1 文本概念集合檢索
4.2.2 圖像標簽
4.3 設置異常檢測
五、總結
在這篇文章中，我們開發了DeepSets以及支持其性能的理論，DeepSets是一個基於強大的置換不變性和等變特性的模型。我們通過大量的實驗證明了DeepSets在多個領域的泛化能力，並展示了定性和定量的結果。特別是，我們明確表明，DeepSets優於其他沒有理論支持的直覺深度網絡(第4.2.1節、第4.1.2節)。最后，值得注意的是，我們所比較的最新技術是針對每個任務的一種專門技術，而我們的一個模型（即DeepSets）具有全面的競爭力。