2021幾何深度學習大師 Michael Bronstein長文解析
導讀：幾何機器學習和基於圖的機器學習是當前最熱門的研究課題之一。在過去的一年中，該領域的研究發展迅猛。在本文中，幾何深度學習先驅 Michael Bronstein 和 Petar Veličković 合作，采訪了多位傑出的領域專家，總結了該領域過去一年中的研究亮點，並對該方向在 2022 年的發展趨勢進行了展望。
本文編譯自https://towardsdatascience.com/predictions-and-hopes-for-geometric-graph-ml-in-2022-aa3b8b79f5cc#0b34
作者：Michael Bronstein
牛津大學DeepMind人工智能教授、Twitter圖機器學習負責人
1.要點概述
- 幾何在機器學習中變得越來越重要。微分幾何和同源場為機器學習研究引入了新的思想，包括利用了對稱性和類似於圖中的曲率的新等變圖神經網絡（GNN）架構，以及在深度學習模型中理解和利用不確定性。
- 消息傳遞仍然是 GNN 的主導范式。在 2020 年，研究社區意識到了了消息傳遞 GNN 的不足之處，並尋求這種范式之外的更具表現力的架構。2021 年，很明顯，消息傳遞仍然占據主導地位，因為有的研究工作表明，將 GNN 應用於子圖可以獲得更好的表達能力。
- 微分方程催生了新的 GNN 架構。NeuralODE 的趨勢擴展到了圖機器學習領域。一些工作說明了如何將 GNN 模型形式化定義為連續微分方程的離散形式。在短期內，這些工作將催生新的可以規避 GNN 中的常見問題（如過平滑和過壓縮）的架構。從長遠來看，可能會更好地理解 GNN 的工作原理，以及如何使更具表現力和可解釋性。
- 信號處理、神經科學和物理學領域的舊思想煥發了新生。許多研究者認為，圖信號處理重新點燃了最近對圖機器學習的興趣，為該領域提供了第一套分析工具（例如，廣義傅里葉變換和圖卷積）。表征理論等其它經典信號處理和物理學中的基本技術已經在2021年取得了一些重要進展，並仍有很大的潛力。
- 為復雜系統建模不僅需要圖。2021 年的諾貝爾物理學獎授予Giorgio Parisi，以表彰對復雜系統的研究。雖然，這樣的系統通常可以被基本地抽象為圖。但有時必須考慮非成對關系和動態行為等更復雜的結構。2021 年的多項工作討論了動態關系系統，展示了如何將 GNN 擴展到高階結構（如傳統上在代數拓撲領域處理的細胞和單純復雜結構）。可能會看到機器學習更多地采用該領域的其它思想。
- 在圖機器學習領域中，推理、公理化和泛化的問題仍然是重要的有待解決的問題。在這一年中，看到了受算法推理啟發的 GNN 架構的持續進步，以及在圖結構任務上更魯棒的與分布外泛化（OOD）相關的工作。如今，有了與廣義 Bellman-Ford 算法顯式一致的知識圖譜推理器，以及利用分布偏移的顯式因果模型的圖分類器。這些都是未來具有廣闊前景的更魯棒、更通用的 GNN 的發展方向。在2022年，這其中許多的課題可能將取得很大的進展。
- 圖在強化學習中越來越流行，但可能還有很大的探索空間。強化學習中存在許多有關圖和對稱性的問題（通常在強化學習智能體的結構中，或在對環境的表征中）。2021 年，有一些研究方向試圖利用這種結構，取得了不同程度的成功。如何在強化學習中利用這些對稱性有了更好的理解（包括在多智能體系統中）。將智能體建模為圖似乎不需要嚴格地使用圖結構。圖和幾何賦能的強化學習在 2022 年具有廣闊的發展前景。
- AlphaFold 2 是幾何機器學習領域的重要成果，也是結構生物學領域的范式轉變。20 世紀 70 年代，諾貝爾化學獎得主 Christian Anfinsen 提出了預測蛋白質三維折疊結構的可能性。這是一項非常困難的計算任務，結構生物學領域的「聖杯」。2021年，DeepMind 的 AlphaFold 2 打破了該問題之前的記錄，取得了讓領域專家們信服的准確率，得到了廣泛的應用。AlphaFold 2 的核心正是一個基於等變注意力機制的幾何架構。
- GNN 及其與 Transformer 模型的融合助力了葯物研發和設計。實際上，GNN 的起源可以追溯到 20 世紀 90 年代的計算化學工作。因此，分子圖的分析是最流行的 GNN 應用之一，也就不足為奇了。2021 年，這一領域取得了持續的顯著進展，涌現出了數十個新架構和幾項超越對比基准的成果。將 Transformer 應用於圖數據取得了巨大的成功，有望模擬 Transformer 架構在自然語言處理領域成功的關鍵之處：能夠跨任務泛化的大型預訓練模型。
10. 人工智能主導的葯物發現技術越來越多地使用了幾何和圖機器學習。AlphaFold 2 和分子圖神經網絡的成功讓人類距離通過人工智能設計新葯的夢想更近了一步。Alphabet 的新公司 Isomorphic Labs 標志着工業界「壓寶」於這項技術。為了實現這類夢想，對分子間的相互作用建模是必須解決的重要前沿課題。
11. 基於圖的方法也助力了量子機器學習。對於機器學習領域的大多數專家，量子機器學習仍然是一個神器的小眾方向，但隨着量子計算硬件的逐漸普及，它很快就成為了現實。Alphabet X 最近的工作顯示了圖結構歸納偏置在量子機器學習架構中的優勢，結合了這兩個貌似不相關的領域。由於量子物理系統通常擁有豐富而深奧的群對稱性，可以將這種性質用於量子結構設計，幾何可能會扮演更重要的角色。
2021 年，幾何和基於圖的機器學習方法出現在一系列備受矚目的應用中
2.幾何在機器學習中的重要性與日俱增
如果必須選擇一個詞，它在 2021 年遍布圖表示學習的幾乎每個領域，毫無疑問，「幾何」一詞將是首選。
Melanie Weber：
「在過去的一年里，看到許多經典的幾何思想以新的方式在圖機器學習領域中得以應用」——Melanie Weber，牛津大學數學研究所 Hooke 研究員
Melanie 認為：值得注意的例子包括利用對稱性更高效地學習模型，最優傳輸相關概念的應用，或在表示學習中使用微分幾何中的曲率概念。
最近，人們對理解關系型數據的幾何特性和利用這些信息學習良好的（歐氏或非歐）表征產生了濃厚的興趣。這催生了許多對特定幾何編碼的 GNN 架構。值得注意的例子是雙曲 GNN 模型，該模型於 2019 年底作為學習層次化數據的高效表征的工具首次提出。在2020年里，出現了大量的新模型和架構，能夠更高效地學習雙曲表征，或者能捕獲更復雜的幾何特征。此外，還有一類工作利用了等變性和對稱性等幾何信息。
圖注：2021年，在圖神經網絡領域，看到了幾何技術的激增。例如，等變信息傳遞在小分子性質預測、蛋白質折疊等生化應用中起到了關鍵作用。
Melanie 進一步研究了微分幾何，在 2022 年存在許多潛在的應用方向：離散微分幾何（研究圖或單純復形等離散結構的幾何）已被用於分析 GNN。離散曲率概念是表征離散結構局部和整體幾何性質的重要工具。Topping 等人在論文「Understanding over-squashing and bottlenecks on graphs via curvature」中提出了曲率在圖機器學習中的一種重要應用，在圖重連的背景下研究離散 Ricci 曲率，提出了一種新的方法來緩解 GNN 中的過壓縮效應。離散曲率很可能與圖機器學習中的其它結構和拓撲問題聯系在一起。
Melanie 希望這些課題將在 2022 年繼續影響該領域，應用於更多的圖機器學習任務。這可能會推動計算方面的進步，減輕實現非歐算法的計算挑戰，傳統的針對歐式數據設計的工具很難勝任這些工作。此外，離散曲率等幾何工具的計算成本很高，很難集成到大規模應用中。計算技術的進步或專用程序庫的發展可以使相關從業者更容易使用這些幾何思想。
Pim de Haan：
「圖神經網絡設計者越來越重視圖豐富的對稱結構。」——Pim de Haan，阿姆斯特丹大學博士生
傳統上，GNN 采用具有置換不變性的消息傳遞方式，后來的工作利用群與表示理論構造節點置換群表示之間的等變映射。最近，類比於流形的局部對稱性（稱為度規對稱性），開始研究由同構子圖產生的圖的局部對稱性。發現應該用對稱理論而不是群分析某些圖中的問題，將對稱性整合到神經網絡架構中可以提高某些圖機器學習任務（例如，分子預測）的性能。
圖注：圖機器學習研究者利用圖中豐富的對稱結構。
Pim 預測道：在新的一年里，希望看到范疇論成為一種廣泛應用於神經網絡的設計語言。這提供一種形式化的語言來討論和利用比以前更復雜的對稱。用於處理圖的局部和近似對稱，結合點雲的幾何和組合結構，幫助研究因果圖的對稱性。
Francesco Di Giovanni：
「盡管圖是不可微的，但是許多在流形分析中被成功應用的思想正逐漸出現在 GNN 領域中。」——Francesco Di Giovanni，Twitter 機器學習研究員
Francesco 對偏微分方程方法特別感興趣，這種方法最初被用於研究曲面，Francesco 等人用來處理圖像。探索了「圖重連」的思路，「圖重連」指的是對底層鄰接關系的修改，屬於對幾何流方法的拓展。此外，還利用基於邊的曲率的新概念來研究 GNN 中的過壓縮問題，提出了一種圖重連方法。對於保持和破壞對稱形式的分子，幾何被認為是將 GNN 應用於分子的關鍵因素。
Francesco 認為，這個領域的研究剛剛興起。圖重連技術將可能在解決消息傳遞的一些主要缺陷方面發揮作用，這些缺陷包括在異類數據集上的性能和處理長距離依賴關系。希望能很快彌平在圖上的卷積和流形上的卷積之間的概念上的較大差異，這可能會導致下一代 GNN 的出現。最后，Francesco 很高興看到幾何變分方法進一步揭示了 GNN 內在的動力學，並希望能夠提供更有原則的方法來設計新的 GNN 架構、比較現有的架構。
圖注：Ricci 曲率、幾何流等微分幾何領域的概念被用於圖機器學習，改進 GNN 中的信息流。
Aasa Feragen:
「人們希望通過微分幾何等數學理論為那些精確的公式中存在非線性幾何的問題給出有理有據的解決方案。」——Aasa Feragen，哥本哈根大學助理教授
Aasa 認為，微分幾何在理解和利用深度學習模型的不確定性方面發揮着基礎性的作用。例如，使用模型不確定性生成數據的幾何表示，揭示在標准歐式表征下仍然十分模糊的生物信息。另一個例子是，利用由局部有向數據編碼的黎曼幾何對結構化的大腦連接的不確定性進行量化。
幾何模型通常用於經過深度預處理的數據，揭示其幾何結構。數據通常是根據原始數據估計的，原始數據存在誤差和不確定性。Aasa 希望 2022 年有更多工作開始評估原始數據的不確定性，對直接處理的數據的影響，以及這種不確定性應該如何傳播到模型上。Aasa 希望能夠將測量誤差納入對非歐數據的分析，努力打破統計和深度學習之間的鴻溝。
3.消息傳遞仍然是 GNN 的主導范式
Haggai Maron：
「希望子圖 GNN 以及相應的重構猜想這一研究方向在新的一年里成果豐碩。」——Haggai Maron，英偉達研究科學家
由於等價於 Weisfeiler-Lehman 測試，圖機器學習領域遭遇到了消息傳遞范式的根本限制。Michael Brostein 在 2021 年預測道：想要繼續發展圖機器學習，就需要脫離 2020 年前在占據主導地位的消息傳遞機制。如今，這一預測在一定程度上得以實現。然而，盡管 2021 年已經出現了一些表達能力更強的 GNN 架構，大多數仍然停留在消息傳遞機制的范圍內。
最近，一些研究者使用子圖來提高 GNN 的表達能力。Haggai Maron 曾指出：「子圖 GNN」底層的想法是將圖表示為其子結構的集合，在 Kelly 和 Ulam 在上世紀 60 年代有關圖重建猜想的工作就可以發現這一主題。同樣的思想構造富有表達能力的 GNN，GNN 的相關工作反過來催生了新的、更精細的重構猜想。
4.微分方程催生了新的 GNN 架構
圖注：2021 年，一些研究工作通過離散擴散偏微分方程推導圖神經網絡。
Pierre Vandergheynst：
「這提出了一種新的觀點，可以使用 GNN 為下游機器學習任務提取有意義的信息，將關注焦點從支撐信息的域轉移到使用圖作為針對信號的計算的支撐。」——Pierre Vandergheynst，洛桑聯邦理工學院
通過用微分方程表示的物理系統動力學重新構建圖上的學習， 2021 年的另一個趨勢。正如常微分方程是理解殘差神經網絡的強大工具一樣（「Neural ODEs」被評為 NeurIPS 2019 的最佳論文），偏微分方程可以在圖上建立信息傳播的模型。可以通過迭代的數值計算求解這樣的偏微分方程，恢復出許多標准的 GNN 架構。此時，將圖看作對連續對象的離散化表示：
Pierre 認為，在 2022 年，使用圖作為針對給定數據集執行局部連貫的計算、交換信息的機制，關注數據的整體屬性，將成為一種新的趨勢。這將在無監督、零樣本學習領域激發人們的興趣。
5.信號處理、神經科學和物理學領域的舊觀點煥發新生
許多現代的 GNN 方法都起源於信號處理領域。圖信號處理（GSP）之父 Pierre Vandergheynst 從這個角度為圖機器學習方法的發展提供了一個有趣的視角：
圖信號處理對數字信號處理的擴展體現在兩個方面：（1）推廣了支撐信息的域。傳統的數字信號處理定義在低維歐式空間上，圖信號處理將其定義在復雜得多、但是結構化的對象上。可以用圖（例如，網絡、網格曲面）表示這些對象。（2）使用圖（某種最近鄰），拋開結構化域，直接處理一些數據集，表示樣本之間的相似性。這背后的思想是，標簽域繼承了一些可以使用圖定義並通過適當轉換捕獲的規律。因此，圖可以支撐整個數據集上的局部計算。GNN 中的一些有趣的思路可以追溯到這些早先的動機，2021 年有一些亮點工作延續了這一趨勢。
Pierre Vandergheynst：
「經典線性變換（例如，傅里葉變換、小波變換）提給出了一個具有某些數學特性（例如，平滑信號具有低頻傅里葉系數，分段平滑信號具有稀疏、局部的小波稀疏）的通用潛空間」——Pierre Vandergheynst，洛桑聯邦理工學院
過去，研究者們通過構建線性變換來揭示信號的特性。物理學家在設計基於群作用的不同對稱的等價變換方面尤為領先。這些群作用包括，仿射群上的小波變換、Weyl-Heisenberg 群的線性時頻分析等。關於數學物理中相干態領域的工作提出了一種通用的解決方法：通過使用群表示對函數進行參數化，構建某種線性變換。2021 年，一些出色的論文進一步引入了非線性和可學習的參數化函數，賦予了 GNN 對稱性，在物理或化學問題中大放異彩：
圖注：群表示是一種信號處理和物理學領域的傳統工具，可以推導出可以應用於流形的坐標無關的深度學習架構。
Pierre 認為，由於某些應用需求、適應性和可解釋性之間權衡（結構化變換域適應性較差但可解釋性很強，GNN 可以在二者之間取得很好的平衡），構建結構化潛空間的趨勢將會在 2022 年得以延續。
在傳統上，神經科學與信號處理密切相關。事實上，通過分析大腦傳遞的電信號來了解動物如何感知周圍的世界。
Kim Stachenfeld：
「研究背景是計算神經科學，首次在研究中用到圖是因為希望表示任何動物如何學習結構。」——Kim Stachenfeld，DeepMind 研究科學家
可以通過圖這種數學對象，分析任何動物如何表示通過獨立的經驗片段獲取的相關概念，拼接成一個全局連貫的、集成的知識體系。
2021 年，一些研究將神經網絡的局部操作和底層或內在的集合表征相結合。例如，一些有關 GNN 中不變性的工作使 GNN 可以利用圖結構以外的幾何和對稱性。此外，使用圖拉普拉斯特征向量作為圖 Transformer 的位置編碼，使 GNN 可以在不受其約束的條件下，利用關於內在、低維幾何性質的信息。
Kim 對 GNN 在神經科學和更廣闊的領域中的應用感到十分興奮，尤其是在超大規模真實數據上的應用。例如，使用 GNN 預測交通狀況、對復雜物理動力學進行仿真、解決超大規模圖上的問題。將 GNN 用於神經數據分析的工作也紛紛涌現。這些問題對現實世界產生影響，要求模型能夠高效擴展並泛化，仍然能夠捕獲真正的復雜的動力學。GNN 的優化目標是對結構和表達能力的平衡。
6.對復雜系統建模不僅需要圖
Tina Eliassi-Rad：
「2021 年諾貝爾物理學獎授予了對復雜系統的研究。從根本上說，復雜系統是由實體間的交互組成的。復雜系統通常被表示為復雜網絡，這為圖機器學習提供了動力。」——Tina Eliassi-Rad，東北大學教授
隨着圖機器學習逐漸成熟，需要仔細分析以不同形式體現的系統依賴（例如，子集、時間、空間），通用的數學表征（圖、單純復形、超圖），底層假設。沒有完美的方法可以表示一個復雜系統，檢驗來襲一個系統的數據集時所作的建模決策可能並不一定能遷移到另一個系統上，甚至不能遷移到來自同一系統的另一個數據集上。然而，考慮與選擇的數學表示法相關的系統依賴，為圖機器學習指出了新的研究機會。
Pierre Vandergheynst：
圖不能為所有的復雜系統提供適當的模型，需要圖之外的方式。2021 年，一些優秀的論文提出了通過圖的泛化獲取的新的結構化信息域。使用單純復形和代數拓撲的其它思想來構建新的神經網絡在理論和實踐上對 GNN 進行了提升。這一趨勢在 2022 年會延續下去，會深入研究通過代數拓撲或微分幾何提供的大量結構化數學對象。
圖注：將圖拓展到胞腔復形或單純復形，可以傳遞更復雜的拓撲消息，從而產生超越 WL 測試表達能力的 GNN 架構。
Cristian Bodanr：
「很可能會看到采用更奇特的數學對象，這些數學對象迄今為止還鮮為探索。相信這些拓撲方法降維分析和理解 GNN 提供一套新的數學工具。」——Cristian Bodnar，劍橋大學博士
Cristian Bodnar 熱衷於代數研究拓撲和圖機器學習之間的聯系。在過去的一年中，單純復形和胞腔復形上的卷積和消息傳遞模型解決了許多 GNN 的缺陷（例如，檢測特定的子結構、捕獲長距離和高階交互、處理高階特征、跳出 WL 測試的層次）。在分子相關的問題、軌跡預測和分類等任務中取得了目前最優的結果。
2022 年，Cristian 預計這些方法將會擴展到令人激動的新應用上，例如：計算代數拓撲、鏈接預測、計算機圖形學，等。
Rose Yu：
「對圖機器學習在學習時空動力學中扮演的角色感到十分興奮。」——Rose Yu，UCSD 助理教授
時空圖是一種重要的復雜網絡系統，結構會隨着時間演變。Rose 認為，COVID-19 預測、交通預測、軌跡建模等應用需要捕獲高度結構化的時序數據的復雜動力學。圖機器學習有能力捕獲時間序列、空間依賴之間的交互，以及動力學中的相關性。
2022 年，樂見時間序列和動態系統中的思想與圖機器學習融合。希望這些思想將催生新的模型設計、訓練算法，幫助更好地理解復雜動態系統的內在機制。圖神經網絡具有置換對稱性（不變性或等變性），對稱性發現是圖表示學習領域中一個被忽視的重要問題。但這種全局對稱性可能從根本上被限制，有一些優秀的工作將圖神經網絡推廣到置換之外的對稱群和局部對稱中。希望看到更多關於圖神經網絡對稱性的研究。
本文編譯自https://towardsdatascience.com/predictions-and-hopes-for-geometric-graph-ml-in-2022-aa3b8b79f5cc#0b34
作者：Michael Bronstein
牛津大學DeepMind人工智能教授、Twitter圖機器學習負責人
參考鏈接：
https://towardsdatascience.com/predictions-and-hopes-for-geometric-graph-ml-in-2022-aa3b8b79f5cc#0b34
https://blog.csdn.net/BAAIBeijing/article/details/122757723