為什么要進行圖學習?談一談逆勢而上的圖神經網絡(GNN)


問一問近幾年來逆勢而上的技術有什么?相信你一定會說出來一個:圖神經網絡。

圖神經網絡將會在人工智能的各個領域起着非常重要的作用,雖然目前還沒有完全成為各大頂會的焦點,但不可否認,它將會。因為相對於一般的神經網絡,圖神經網絡解決了一個很關鍵的問題,就是object跟object之間的關系,這個object可以是網絡中的節點,圖像中的像素,文本中的單詞,語音中的音符,甚至是神經網絡的基本操作。可以看出來,圖神經網絡可以與自然語言處理,計算機視覺,強化學習,甚至是最基本的缺失值補全這樣的機器學習任務結合。圖神經網絡下面的一些特點:

(1)圖神經網絡能夠實現強大的非結構學習的能力:

圖神經網絡能夠從非結構化數據(例如:場景圖片、故事片段等)中進行學習和推理。盡管傳統的深度學習方法被應用在提取歐氏空間數據的特征方面取得了巨大的成功,但許多實際應用場景中的數據是從非歐式空間生成的,傳統的深度學習方法在處理非歐式空間數據上的表現卻仍難以使人滿意。

(2)圖神經網絡可以學習時序以及非時序排序的特征學習:

GNN的輸出不以節點的輸入順序為轉移的。而在時空領域的建模,我們既可以關注無先后順序的空間拓撲結構,也可以建模有順序的時間維度,多一維度的信息,多一份決策的能力;

(3)圖神經網絡可以解決兩個節點之間依賴關系的學習:

傳統的神經網絡中,這種依賴關系只能通過節點的特征來體現。圖嵌入通過保留圖的網絡拓撲結構和節點內容信息,將圖中頂點表示為低維向量,以便使用簡單的機器學習算法(例如,支持向量機分類)進行處理。

除此之外,圖神經網絡在社交網絡、廣告推薦、搜索推薦、葯物生成、智能體交互、高能物理學到社會科學和經濟學等領域的復雜關系建模和互動系統構建起到重要作用。今天,給大家介紹一個長期關注圖神經網絡,干貨滿滿的公眾號,深度學習與圖網絡。該公眾號,主要關注圖神經網絡,以及深度學習和機器學習相關內容,偶爾嘗試解讀一些有意思的研究工作,"但水平有限,歡迎來批評指正"。在研究方向上, 關注以下幾個方面:

  • 圖與自然語言處理

  • 圖與計算機視覺

  • 圖與智慧交通

  • 圖與推薦

  • 圖優化與解決過平滑問題

  • 圖上節點分類

  • 圖池化與分類以及分子圖生成

  • 動態圖,時空圖嵌入

在研究動態上:公眾號關注NeurIPS, ICML, KDD, CVPR等會議論文,TPAMI, TNNLS, TKDE, TKDD等期刊論文,以及關注Arxiv上與圖網絡相關的研究動態,同時關注GitHub上關於GNN 庫。如果你也是上面研究方向的同學,歡迎關注與收藏。下面是最近的推送,看看有沒有你需要的~:

近期40條精彩推送

Dynamic/Temporal Graph動態圖|時態圖相關論文,數據集匯總

AAAI 2021 |圖模型相關工作——數據擴充;近似梯度下降;解決災難性遺忘問題

NeurIPS2020 | 結合集成學習與Rademacher復雜度分析多尺度GNN解決過擬合問題

NeurIPS2020 | 圖池化Rethinking pooling in graph neural networks

NeurIPS2020 | 圖分類SOTA:節點互信息最大化與多尺度特征交互

NeurIPS 2020 | 超越同質性假設: 解決當前GNN的局限與並提出有效性設計

NeurIPS 2020 | 圖上學習新方式—迭代式圖學習: 結合下游任務迭代地學習圖結構和圖表示

NeurIPS2020 | 解決不確定性問題—用於半監督學習的圖隨機神經網絡(代碼已經公開)

ICLR 2020 | 兼顧效率與質量—基於譜方法的高效多級圖嵌入框架

NeurIPS2020 | 用於半監督學習的圖隨機神經網絡

NeurIPS2020 | 顯著超越STGCN: 方法簡單-效果顯著自適應構圖的時空圖網絡

硬核 | TKDE2020-時空數據挖掘深度學習技術全面綜述

NeurIPS2020 | Google《圖學習與挖掘》綜述教程,311頁ppt+教程

NeurIPS2020 | 圖對比學習 | 結合四種數據擴充方式進行對比學習(附論文代碼鏈接)

NeurIPS2020 | 四篇圖魯棒性研究相關論文一覽

方法總結 | 兩篇論文分析解耦/分離/Disentangled/圖神經網絡表示學習

ICLR2021Submission/6677分 / 性能超越圖神經網絡,將標簽傳遞和簡單模型結合實現SOTA

NeurIPS 2020 | IGNN圖卷積超分網絡: 挖掘隱藏在低分辨率圖像中的高清紋理

NeurIPS 2020 | 熱點之一最優運輸相關論文一覽

圖神經網絡強勢崛起 | ICLR 2021最全論文主題分析

沒有完整圖時,如何使用圖深度學習?你需要了解流形學習2.0版本

終於來了!圖核論文的研究綜述: 2020圖核方法最新進展與未來挑戰,151頁pdf

注意力機制 | 圖卷積多跳注意力機制 | Direct multi-hop Attention based GNN

NeurIPS2020 | 基於路徑積分設計的圖卷積和圖池化操作

NeurIPS 2020 | 基於模型的對抗元強化學習

NeurIPS 2020 | Hinton新作!越大的自監督模型,半監督學習需要的標簽越少

KDD2020 | MoFlow:基於流的分子圖生成模型

【綜述】圖神經網絡與深度學習在智能交通中的應用:綜述Survey

淺談圖上的自監督學習——對比學習

論文快訊 | NeurIPS2020 重新思考圖神經網絡中的池化

自監督學習 | ICML2020 自監督學習什么時候可以對GCN有利?

TPAMI2020 |  節點屬性缺失怎么辦?隱空間attribute-structure對齊來解決

論文快訊 | NeurIPS20:有向圖卷積網絡Digraph Inception Convolutional Networks

拉普拉斯矩陣與拉普拉斯算子的關系 (干貨預警,需慢讀細品)

論文快訊 | TMM20-半監督學習的各向異性圖卷積網絡

最新《圖神經網絡推薦系統》2020綜述論文,27頁pdf

TGN時態圖網絡:即使很久不發朋友圈,也能知道你的新興趣

NeurIPS2020 | 圖對比學習 | 結合四種數據擴充方式進行對比學習(附論文代碼鏈接)

使用標簽預測,性能竟超GNN,訓練時間和參數量還百倍降低?

NeurIPS 2020 | 圖機器學習NeurIPS'20: 80多篇與圖相關的論文整理與小結 (更新中)

圖神經網絡說難不難,說容易不容易。如果你還沒有入門,不用着急,站在他人的肩膀上,你會看的輕松一點,歡迎參考從下面的學習路線

1 Tutorial教程合集(入門必讀)

為什么要進行圖嵌入表示?

圖嵌入表示:深度游走(Deepwalk)

圖系列|從圖(Graph)到圖卷積: 漫談圖神經網絡模型(I)

圖系列|從圖(Graph)到圖卷積: 漫談圖神經網絡模模型(II)

圖系列|從圖(Graph)到圖卷積: 漫談圖神經網絡模模型(III)

圖卷積神經網絡Graph Convolutional Network(GCN):從問題到理論分析

圖網絡延伸GraphSage: Inductive learning 和 Transductive learning

圖注意機制GAT:三種注意力機制在圖神經網絡中的應用和總結

SGC Networks,一種簡化的圖神經網絡=>產生高達兩個數量級的加速

圖系列GIN|GNN模型到底有多強呢?Weisfeiler-Leman test來告訴你

斯坦福Jure Leskovec——圖神經網絡研究最新進展(附下載鏈接)

清華大學唐傑——圖神經網絡 (GNN) 算法及其應用138頁PPT(附下載鏈接)

斯坦福大學Jure Leskovec—圖神經網絡GNN研究進展:表達性、預訓練、OGB,71頁ppt

2 深度思考(進階)

GNN需要預訓練嗎?| GNN教程:圖上的預訓練任務上篇

GNN需要預訓練嗎?| GNN教程:圖上的預訓練任務下篇

思考:Transformers與圖神經網絡有什么關系,我們能從transformer學習什么?

從Laplacian矩陣開始,理解GCN

如何解決圖神經網絡(GNN)訓練中過度平滑的問題?

圖網絡GNN(特別篇):一文遍覽圖網絡中16種典型的圖卷積和9種圖池化Graph Pooling

從源頭深入分析GCN的四個行文思路:重要度度量與累計,注意力,局部一致性,Laplacian變換

KDD‘18 | 學習任意階鄰近度的Network Embedding

3 綜述論文

清華大學朱文武「基於深度學習的圖表示」綜述論文,51頁pdf(附下載鏈接)

圖綜述|綜述《A Gentle Introduction to Deep Learning for Graphs》

圖網絡綜述|9篇研究綜述看圖神經網絡GNN的最新研究進展

圖網絡綜述|10-異構網絡表示學習

圖網絡綜述|動態圖上的表示學習(1)

圖文獻綜述|動態圖上的表示學習(2)

圖文獻綜述|交通領域如何構建圖模型進行深度學習

學習一個新的領域最好是從綜述開始,因為綜述已經非常全面概括了目前該領域的論文,進行了合理的分類。公眾號已經整理打包好第3部分全部的綜述論文,后期新的論文會加入進去。如果你也需要,在下面公眾號回復:圖網絡資料就可以了。

4 圖相關專題

圖專題|圖神經網絡在醫學影像中的應用

圖專題 | 欺詐檢測之圖算法(1)

圖專題 | 欺詐檢測之圖算法(2)

圖專題 | 圖網絡之核函數(1)

圖專題 | 圖網絡之核函數(2)

圖專題 | 圖上的池化方法

圖專題 | 圖上的生成模型

圖專題 | 動態圖表示學習

圖專題 | 圖表示學習方法的魯棒性研究

5 會議論文合集

ICML20  | 連續圖神經網絡;常數曲率圖神經網絡;貝葉斯圖神經網絡

論文匯總 | (全部)AAAI'20圖相關論文合集,涉及各個方面

論文匯總 | 15篇ICLR'20與圖網絡學習有關的論文匯總(第一期)

論文匯總 | 14篇ICLR'20與圖網絡學習有關的論文匯總(第二期)

論文匯總 | 14篇ICLR'20與圖網絡學習有關的論文匯總(第三期)

論文匯總 | ICCV'19 圖相關論文合集

論文匯總 | KDD'19 圖相關論文合集

論文匯總 | NeurIPS'19 圖網絡相關論文合集

論文簡訊 | AAAI'20中五篇與圖神經網絡相關論文,涉及圖分類,動態圖建模,知識圖譜對齊,交通預測等

論文簡訊 | WWW'19圖相關論文

6 論文快訊

圖表示學習和幾何深度學習workshop(II): node2vec與強化學習;雙曲嵌入;Group卷積中的注意力等

ELLIS Workshop: April 2020圖網絡最新研究進展(I)

論文匯訊: 圖網絡新應用:新燃料發現,有機化學逆合成,多任務學習,單一場景中的檢測等等

GRAPH-BERT:圖表示學習只需要注意力

圖機器學習-圖拉普拉斯算子的離散正則性,141頁ppt,Discrete regularity graph Laplacians

KDD19開源論文 Heterogeneous Graph Neural Network

KDD2020|混合時空圖卷積網絡:更精准的時空預測模型

論文快訊:5篇Graph相關內容:多標簽建模;因果結構學習;N-gram Graph等等

論文快訊:一些新圖卷積相關方法的提出來啦

論文快訊:很多新的圖學習方法提出,趕緊來看

論文快訊: 圖神經網絡的新鮮應用

論文快訊: 圖網絡相關的最新文獻,涉及Graph Embedding 綜述,交通預測、停車位可用性預測,圖匹配等

7 相關資料

資料|一本機器學習與復雜網絡相關的書籍《Machine Learning in Complex Networks》

資料 |斯坦福大學2019秋季新課CS224W: Machine Learning with Graphs 課程講義PPT等

斯坦福CS224W課程—機器學習與圖—課程介紹與資料匯總

【經典】GAT作者Petar劍橋大學博士論文《深層神經網絡結構的復興》147頁pdf,附下載鏈接

資料 | 17篇論文,詳解圖的機器學習趨勢 | NeurIPS 2019

資料 | NLP 和人文社會學科課程來了:斯坦福開年公開課主講NLP和社交網絡應用

資料 | Graph embedding|Graph Neural Network 學習資料匯總

GitHub | Awesome Graph classification

一個新的領域如果有一些系統的輔助的資料就不會被帶偏,迷失方向。博客公眾號,論文相對於完整的書籍還是缺乏系統性,為此公眾號系統收集了圖網絡相關的資料,書籍等。如果你也需要,在公眾號,回復:圖網絡資料就可以領取

8 深度解析

深度解讀:KDD2020|混合時空圖卷積網絡:更精准的時空預測模型

深度解讀:【GNN】VGAE:利用變分自編碼器完成圖重構

深度解讀:互信息及其在圖表示學習的應用

深度解讀:基於圖神經網絡的聚類研究與應用

深度解讀:Transformer for Graph Classification:無監督的學習下圖分類(代碼已經公開)

深度解讀:圖系列|三篇圖層次化表示學習(Hierarchical GNN):圖分類以及節點分類

深度解讀:團隊新作 | 多尺度圖卷積神經網絡:有效統一三維形狀離散化特征表示

深度解讀:ICLR20|CUHK及NUS提出兩個指標度量與提升圖網絡消息傳遞

論文解讀:KDD'18異質信息網絡嵌入學習—HEER模型結構,解決存在多決種關系的問題

論文解讀:KDD'19 Deep Learning on Graph 最佳論文:自然語言生成(NLG)任務

論文解讀:圖表示學習中的對抗與攻擊KDD'18 Best Paper: Adversarial Attacks

論文解讀:GMNN:圖馬爾可夫網絡,關系數據進行建模,變分EM框架訓練模型

論文解讀:普林斯頓高研院, 浙大, CMU和MIT聯合提出圖核函數與圖神經網絡的融合方法

論文解讀:NeurIPS'20|Hyperbolic Graph Convolutional Neural Networks

論文解讀:ICCV'19 Workshop 論文解讀:用圖神經網絡改善視頻的多標簽分類

方案解讀:CIKM'19 挑戰杯「用戶行為預測」冠軍方案分享:「初篩-精排」兩階求解框架

論文解讀:KDD'19 | 圖神經網絡預測知識圖譜中的節點重要性

論文解讀:圖系列|圖神經常微分方程,如何讓 GNN 在連續深度域上大顯身手?

論文解讀:ACL'19論文| 為知識圖譜添加注意力機制

論文解讀:基於 GCN 的反垃圾評價系統,閑魚已經用上了!

9 動態時空圖專題

動態圖系列|動態圖嵌入與表示:8篇必讀論文(第1期)

動態圖系列|動態知識圖譜預測與補全上必讀6篇論文

動態圖系列|動態圖的研究漸漸多起來

10 動作識別專題

圖系列|全面詳解!圖卷積在動作識別方向的應用(下)

圖系列|全面詳解!圖卷積在動作識別方向的應用(上)

圖系列|通過神經網絡搜索(NAS)圖卷積網絡進行人體骨骼的動作識別

11 代碼實戰教程

圖代碼實戰|Amazon圖神經網絡庫DGL零基礎上手指南-以節點分類為例

圖代碼實戰|在PyTorch框架下使用PyG和networkx對Graph進行可視化

上面的內容有點多,是不是看的有點懵,建議收藏一下。后期可以按照關鍵詞在深度學習與圖網絡公眾號歷史消息中進行搜索就可以了。

最后在說明一下哈,如果你也需要第三部分和第七部分的資料,在下面的公眾號領取。暗號:圖網絡資料,拒絕任何套路,純干貨分享。

下面是整理的圖網絡資料,包括綜述和相關的書籍。如果你覺得不錯,記得及時保存到自己的網盤。

鏈接:https://pan.baidu.com/s/1ViZsZSrhJZ_JSYhNSLcjNw 提取碼:1234


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM