問一問近幾年來逆勢而上的技術有什么?相信你一定會說出來一個:圖神經網絡。
圖神經網絡將會在人工智能的各個領域起着非常重要的作用,雖然目前還沒有完全成為各大頂會的焦點,但不可否認,它將會。因為相對於一般的神經網絡,圖神經網絡解決了一個很關鍵的問題,就是object跟object之間的關系,這個object可以是網絡中的節點,圖像中的像素,文本中的單詞,語音中的音符,甚至是神經網絡的基本操作。可以看出來,圖神經網絡可以與自然語言處理,計算機視覺,強化學習,甚至是最基本的缺失值補全這樣的機器學習任務結合。圖神經網絡下面的一些特點:
(1)圖神經網絡能夠實現強大的非結構學習的能力:
圖神經網絡能夠從非結構化數據(例如:場景圖片、故事片段等)中進行學習和推理。盡管傳統的深度學習方法被應用在提取歐氏空間數據的特征方面取得了巨大的成功,但許多實際應用場景中的數據是從非歐式空間生成的,傳統的深度學習方法在處理非歐式空間數據上的表現卻仍難以使人滿意。
(2)圖神經網絡可以學習時序以及非時序排序的特征學習:
GNN的輸出不以節點的輸入順序為轉移的。而在時空領域的建模,我們既可以關注無先后順序的空間拓撲結構,也可以建模有順序的時間維度,多一維度的信息,多一份決策的能力;
(3)圖神經網絡可以解決兩個節點之間依賴關系的學習:
傳統的神經網絡中,這種依賴關系只能通過節點的特征來體現。圖嵌入通過保留圖的網絡拓撲結構和節點內容信息,將圖中頂點表示為低維向量,以便使用簡單的機器學習算法(例如,支持向量機分類)進行處理。
除此之外,圖神經網絡在社交網絡、廣告推薦、搜索推薦、葯物生成、智能體交互、高能物理學到社會科學和經濟學等領域的復雜關系建模和互動系統構建起到重要作用。今天,給大家介紹一個長期關注圖神經網絡,干貨滿滿的公眾號,深度學習與圖網絡。該公眾號,主要關注圖神經網絡,以及深度學習和機器學習相關內容,偶爾嘗試解讀一些有意思的研究工作,"但水平有限,歡迎來批評指正"。在研究方向上, 關注以下幾個方面:
-
圖與自然語言處理
-
圖與計算機視覺
-
圖與智慧交通
-
圖與推薦
-
圖優化與解決過平滑問題
-
圖上節點分類
-
圖池化與分類以及分子圖生成
-
動態圖,時空圖嵌入
在研究動態上:公眾號關注NeurIPS, ICML, KDD, CVPR等會議論文,TPAMI, TNNLS, TKDE, TKDD等期刊論文,以及關注Arxiv上與圖網絡相關的研究動態,同時關注GitHub上關於GNN 庫。如果你也是上面研究方向的同學,歡迎關注與收藏。下面是最近的推送,看看有沒有你需要的~:
近期40條精彩推送
Dynamic/Temporal Graph動態圖|時態圖相關論文,數據集匯總
AAAI 2021 |圖模型相關工作——數據擴充;近似梯度下降;解決災難性遺忘問題
NeurIPS2020 | 結合集成學習與Rademacher復雜度分析多尺度GNN解決過擬合問題
NeurIPS2020 | 圖池化Rethinking pooling in graph neural networks
NeurIPS2020 | 圖分類SOTA:節點互信息最大化與多尺度特征交互
NeurIPS 2020 | 超越同質性假設: 解決當前GNN的局限與並提出有效性設計
NeurIPS 2020 | 圖上學習新方式—迭代式圖學習: 結合下游任務迭代地學習圖結構和圖表示
NeurIPS2020 | 解決不確定性問題—用於半監督學習的圖隨機神經網絡(代碼已經公開)
ICLR 2020 | 兼顧效率與質量—基於譜方法的高效多級圖嵌入框架
NeurIPS2020 | 顯著超越STGCN: 方法簡單-效果顯著自適應構圖的時空圖網絡
硬核 | TKDE2020-時空數據挖掘深度學習技術全面綜述
NeurIPS2020 | Google《圖學習與挖掘》綜述教程,311頁ppt+教程
NeurIPS2020 | 圖對比學習 | 結合四種數據擴充方式進行對比學習(附論文代碼鏈接)
方法總結 | 兩篇論文分析解耦/分離/Disentangled/圖神經網絡表示學習
ICLR2021Submission/6677分 / 性能超越圖神經網絡,將標簽傳遞和簡單模型結合實現SOTA
NeurIPS 2020 | IGNN圖卷積超分網絡: 挖掘隱藏在低分辨率圖像中的高清紋理
沒有完整圖時,如何使用圖深度學習?你需要了解流形學習2.0版本
終於來了!圖核論文的研究綜述: 2020圖核方法最新進展與未來挑戰,151頁pdf
注意力機制 | 圖卷積多跳注意力機制 | Direct multi-hop Attention based GNN
NeurIPS2020 | 基於路徑積分設計的圖卷積和圖池化操作
NeurIPS 2020 | Hinton新作!越大的自監督模型,半監督學習需要的標簽越少
【綜述】圖神經網絡與深度學習在智能交通中的應用:綜述Survey
論文快訊 | NeurIPS2020 重新思考圖神經網絡中的池化
自監督學習 | ICML2020 自監督學習什么時候可以對GCN有利?
TPAMI2020 | 節點屬性缺失怎么辦?隱空間attribute-structure對齊來解決
論文快訊 | NeurIPS20:有向圖卷積網絡Digraph Inception Convolutional Networks
NeurIPS2020 | 圖對比學習 | 結合四種數據擴充方式進行對比學習(附論文代碼鏈接)
NeurIPS 2020 | 圖機器學習NeurIPS'20: 80多篇與圖相關的論文整理與小結 (更新中)
圖神經網絡說難不難,說容易不容易。如果你還沒有入門,不用着急,站在他人的肩膀上,你會看的輕松一點,歡迎參考從下面的學習路線
1 Tutorial教程合集(入門必讀)
圖系列|從圖(Graph)到圖卷積: 漫談圖神經網絡模型(I)
圖系列|從圖(Graph)到圖卷積: 漫談圖神經網絡模模型(II)
圖系列|從圖(Graph)到圖卷積: 漫談圖神經網絡模模型(III)
圖卷積神經網絡Graph Convolutional Network(GCN):從問題到理論分析
圖網絡延伸GraphSage: Inductive learning 和 Transductive learning
SGC Networks,一種簡化的圖神經網絡=>產生高達兩個數量級的加速
圖系列GIN|GNN模型到底有多強呢?Weisfeiler-Leman test來告訴你
斯坦福Jure Leskovec——圖神經網絡研究最新進展(附下載鏈接)
清華大學唐傑——圖神經網絡 (GNN) 算法及其應用138頁PPT(附下載鏈接)
斯坦福大學Jure Leskovec—圖神經網絡GNN研究進展:表達性、預訓練、OGB,71頁ppt
2 深度思考(進階)
思考:Transformers與圖神經網絡有什么關系,我們能從transformer學習什么?
圖網絡GNN(特別篇):一文遍覽圖網絡中16種典型的圖卷積和9種圖池化Graph Pooling
從源頭深入分析GCN的四個行文思路:重要度度量與累計,注意力,局部一致性,Laplacian變換
KDD‘18 | 學習任意階鄰近度的Network Embedding
3 綜述論文
清華大學朱文武「基於深度學習的圖表示」綜述論文,51頁pdf(附下載鏈接)
圖綜述|綜述《A Gentle Introduction to Deep Learning for Graphs》
學習一個新的領域最好是從綜述開始,因為綜述已經非常全面概括了目前該領域的論文,進行了合理的分類。公眾號已經整理打包好第3部分全部的綜述論文,后期新的論文會加入進去。如果你也需要,在下面公眾號回復:圖網絡資料就可以了。
4 圖相關專題
5 會議論文合集
ICML20 | 連續圖神經網絡;常數曲率圖神經網絡;貝葉斯圖神經網絡
論文匯總 | (全部)AAAI'20圖相關論文合集,涉及各個方面
論文匯總 | 15篇ICLR'20與圖網絡學習有關的論文匯總(第一期)
論文匯總 | 14篇ICLR'20與圖網絡學習有關的論文匯總(第二期)
論文匯總 | 14篇ICLR'20與圖網絡學習有關的論文匯總(第三期)
論文簡訊 | AAAI'20中五篇與圖神經網絡相關論文,涉及圖分類,動態圖建模,知識圖譜對齊,交通預測等
6 論文快訊
圖表示學習和幾何深度學習workshop(II): node2vec與強化學習;雙曲嵌入;Group卷積中的注意力等
ELLIS Workshop: April 2020圖網絡最新研究進展(I)
論文匯訊: 圖網絡新應用:新燃料發現,有機化學逆合成,多任務學習,單一場景中的檢測等等
圖機器學習-圖拉普拉斯算子的離散正則性,141頁ppt,Discrete regularity graph Laplacians
KDD19開源論文 Heterogeneous Graph Neural Network
論文快訊:5篇Graph相關內容:多標簽建模;因果結構學習;N-gram Graph等等
論文快訊: 圖網絡相關的最新文獻,涉及Graph Embedding 綜述,交通預測、停車位可用性預測,圖匹配等
7 相關資料
資料|一本機器學習與復雜網絡相關的書籍《Machine Learning in Complex Networks》
資料 |斯坦福大學2019秋季新課CS224W: Machine Learning with Graphs 課程講義PPT等
【經典】GAT作者Petar劍橋大學博士論文《深層神經網絡結構的復興》147頁pdf,附下載鏈接
資料 | 17篇論文,詳解圖的機器學習趨勢 | NeurIPS 2019
資料 | NLP 和人文社會學科課程來了:斯坦福開年公開課主講NLP和社交網絡應用
資料 | Graph embedding|Graph Neural Network 學習資料匯總
GitHub | Awesome Graph classification
一個新的領域如果有一些系統的輔助的資料就不會被帶偏,迷失方向。博客公眾號,論文相對於完整的書籍還是缺乏系統性,為此公眾號系統收集了圖網絡相關的資料,書籍等。如果你也需要,在公眾號,回復:圖網絡資料就可以領取
8 深度解析
深度解讀:KDD2020|混合時空圖卷積網絡:更精准的時空預測模型
深度解讀:Transformer for Graph Classification:無監督的學習下圖分類(代碼已經公開)
深度解讀:圖系列|三篇圖層次化表示學習(Hierarchical GNN):圖分類以及節點分類
深度解讀:團隊新作 | 多尺度圖卷積神經網絡:有效統一三維形狀離散化特征表示
深度解讀:ICLR20|CUHK及NUS提出兩個指標度量與提升圖網絡消息傳遞
論文解讀:KDD'18異質信息網絡嵌入學習—HEER模型結構,解決存在多決種關系的問題
論文解讀:KDD'19 Deep Learning on Graph 最佳論文:自然語言生成(NLG)任務
論文解讀:圖表示學習中的對抗與攻擊KDD'18 Best Paper: Adversarial Attacks
論文解讀:GMNN:圖馬爾可夫網絡,關系數據進行建模,變分EM框架訓練模型
論文解讀:普林斯頓高研院, 浙大, CMU和MIT聯合提出圖核函數與圖神經網絡的融合方法
論文解讀:NeurIPS'20|Hyperbolic Graph Convolutional Neural Networks
論文解讀:ICCV'19 Workshop 論文解讀:用圖神經網絡改善視頻的多標簽分類
方案解讀:CIKM'19 挑戰杯「用戶行為預測」冠軍方案分享:「初篩-精排」兩階求解框架
論文解讀:KDD'19 | 圖神經網絡預測知識圖譜中的節點重要性
論文解讀:圖系列|圖神經常微分方程,如何讓 GNN 在連續深度域上大顯身手?
9 動態時空圖專題
10 動作識別專題
圖系列|通過神經網絡搜索(NAS)圖卷積網絡進行人體骨骼的動作識別
11 代碼實戰教程
圖代碼實戰|Amazon圖神經網絡庫DGL零基礎上手指南-以節點分類為例
圖代碼實戰|在PyTorch框架下使用PyG和networkx對Graph進行可視化
上面的內容有點多,是不是看的有點懵,建議收藏一下。后期可以按照關鍵詞在深度學習與圖網絡公眾號歷史消息中進行搜索就可以了。
最后在說明一下哈,如果你也需要第三部分和第七部分的資料,在下面的公眾號領取。暗號:圖網絡資料,拒絕任何套路,純干貨分享。
下面是整理的圖網絡資料,包括綜述和相關的書籍。如果你覺得不錯,記得及時保存到自己的網盤。
鏈接:https://pan.baidu.com/s/1ViZsZSrhJZ_JSYhNSLcjNw 提取碼:1234