模型搞到這時候，就是要以不斷提升泛化力和魯棒性，當今兩個主流的方法是 知識蒸餾 對抗學習 本節主要說對抗訓練，它是一種能夠有效提高模型魯棒性和泛化能力的訓練手段，基本原理：在原始輸入上增加對抗擾動，得到對抗樣本，再利用對抗樣本進行訓練，從而提高模型表現。 在自然語言處理中，這個任務處理的就是離散數據，所以一般會把對抗擾動添加到嵌入層中，為了最大化對抗樣本的擾動能力，使用梯度上升方式生成對抗樣本。 ...
2020-03-03 17:17 0 903 推薦指數：
Virtual Adversarial Training: a Regularization Method for Supervised and Semi-supervised Learning 簡介 本文是17年半監督學習的一篇文章，受對抗訓練的啟發，將對抗訓練的范式用於提升半監督學習 ...
通過對抗訓練實現半監督的異常檢測 Abstract 異常檢測在計算機視覺中是一個經典的問題，即從異常中確定正常，但是由於其他類（即異常類）的樣本數量不足，所以數據集主要基於一個類（即正常類）。雖然該問題能夠當成一個監督學習 ...
Kipf, Thomas N., and Max Welling. "Semi-supervised classification with graph convolutional networks." arXiv preprint arXiv:1609.02907 (2016 ...
GCN的定義 下面內容參考kipf博客，個人認為是告訴你從直覺上，我們怎么得到GCN圖上的定義（而前面的大幅推導是從理論上一步一步來的，也就是說可以用來佐證我們的直覺） 我們的網絡輸入是\(\ma ...
背景簡介 GCN的提出是為了處理非結構化數據（相對於image像素點而言）。CNN處理規則矩形的網格像素點已經十分成熟，其最大的特點就是利用卷積進行①參數共享②局部連接，如下圖： 那么類比 ...
Semi-supervised Classification with Graph Convolutional Networks 2018-01-16 22:33:36 1. 文章主要思想： 2. 代碼實現（Pytorch）：https://github.com ...
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS Thomas N. Kipf、MaxWelling Published as a conference paper at ICLR 2017 論文 ...
Semi-Supervised Learning with Generative Adversarial Networks 引言：本文將產生式對抗網絡（GAN）拓展到半監督學習，通過強制判別器來輸出類別標簽。我們在一個數據集上訓練一個產生式模型 G 以及 一個判別器 D，輸入 ...
