1.表示學習
（1）表示學習：用機器學習提取特征，而不是手動提取特征。學習如何提取特征，即學習如何學習。
（2）表示學習算法的典型例子：自編碼器（autoencoder）。
（3）表示學習從原始數據中提取高層次、抽象的特征很難。深度學習（deep learning）通過其他較簡單的表示來表達復雜表示，解決了表示學習中的核心問題。
（4）表示學習的韋恩圖和流程圖：
（5）表示學習一般作為其他任務的前置任務，比如【實體關系預測】、【實體分類】。
2.網絡(嵌入)表示學習 vs 知識圖譜表示學習
（1）網絡表示學習=網絡嵌入
①網絡表示學習沒有關系，更注重在嵌入空間保留(拓撲)結構信息，注重節點表示/建模，之所以要將原始問題轉化為圖網絡也是因為，從網絡中可以發現傳統方法發現不到的結構信息；
②網絡表示學習強調的是節點的表示，這為下游任務：節點分類，鏈接預測，網絡重構，網絡可視化等提供了方便。
並不是表示學習在圖數據中不強調關系的重要性，而是因為關系沒有那么清楚和直白，關系是模糊不清的，不可能像是在知識圖譜中那樣很明確。所以沒辦法對關系進行建模，干脆就放棄建模。
③網絡表示學習中沒有明顯的結點之間的關系，網絡中各個結點相互連接，所有結點是一視同仁，但我們並不知道他們之間的具體關系是什么，這就需要一個有效的方法去挖掘。(比如社交網絡這個網絡圖，A、B和我之間都有連線，但直觀上看不出來我和A、B誰的關系更好，需要利用其它信息去發現)
④網絡表示大多是用於單關系網絡的，比如社交網絡，只有朋友關系這一種；
④網絡表示學習算法：DeepWalk，Node2vec，LINE……
DeepWalk是受word2vec的啟發，通過隨機游走得到結點序列，然后用word2vec的方法最大化結點共同出現的概率。
Node2vec在DeepWalk的基礎上考慮了隨機游走的廣度和深度兩個方面，可以根據情況有不同的側重點。
LINE，保留節點的二階相似度。
⑤網絡表示學習通常有兩個基本目標：
一是在低維空間中學習到的表征可以重構出原有網絡結構。
二是學習到的表征可以有效地支持網絡推斷。
⑥網絡表示學習通常包括三種：
基於矩陣分解的模型，比如SVD；
基於隨機游走的模型，比如DeepWalk；
基於深度神經網絡的模型，就更多了，CNN、RNN都可以用。
此外還有同質網絡、異質網絡的區分，還有屬性網絡、融合伴隨信息的網絡等。
⑦網絡表示學習分為：異質信息網絡和同質信息網絡（但是不能完全區分開），而同質信息網絡可看作異質信息網絡的特例。
（2）知識圖譜表示學習
①知識圖譜表示學習在保留結構信息的基礎上強調關系和頭尾關系；
②知識圖譜表示學習強調的是節點和關系的表示，節點和關系同樣重要；
③知識圖譜表示學習中往往指明了關系，比如水果和獼猴桃之間是所屬關系。知識圖譜表示學習中常常提到的一個概念就是三元組（頭實體，關系，尾實體）
④知識圖譜表示中的關系不再是單關系，而是多種關系，之前的方法不適用，出現了一些知識圖譜表示學習的方法；
⑤知識圖譜的表示前提需要一個知識圖譜，現在很多研究都用到了開源的知識圖譜，也有不少人在自己搭建相關領域的知識圖譜。因為知識圖譜不像圖網絡那樣只需要有結點和邊就可以了，知識圖譜需要有實體和關系，那么實體和關系又從何而來？這就要用到信息抽取。所以知識圖譜要用到實際中還是需要做很多工作的。
⑥知識圖譜表示算法：trans系列的算法，什么是TransE，TransR，TransH，很多很多，它們都是將圖譜表示成大量的三元組，通過這個三元組去刻畫實體和關系的向量表示。
（3）區別
①知識圖譜表示學習強調關系，網絡表示學習不考慮關系；
②從知識推理的角度來說，異質信息網絡=知識圖譜。從網絡的構建和布局等角度來說，異質信息網絡！=知識圖譜。
（4）聯系
①兩者都是表示學習，目標都是將實體或者關系或者結點表示成一個向量，用這個向量去做分類、聚類等；
②知識圖譜表示學習是特殊的網絡表示學習；網絡表示學習是更一般的知識圖譜表示學習；
③兩種方法都可以統一在encoder-decoder的框架下，不過由於隱空間下的距離度量和設計的loss不同，模型有所變化；
④兩種方法的模型可以在相關任務通用，但算法性能差別較大；
⑤異質信息網絡和知識圖譜都可以用圖的形式進行表示；
參考：https://www.zhihu.com/question/269781335
如果還不明白，可以讀一個論文：斯坦福17年的綜述Methods and Applications和他們在www18上組織的相關tutorial。
3.知識圖譜的關系推理的三種方法
統計關系學習方法（SRL）：如馬爾科夫邏輯網絡、貝葉斯網絡，但這類方發需要設計相應的規則，因此沒有很好的擴展性和泛化性；
嵌入式表示的方法：旨在將實體和關系映射為空間中的向量，通過空間中向量的運算來進行推理（如TransE），該方法取得了較好的准確率，但分布式表示的解釋性不強，另外，較難實現並行計算；
基於關系路徑特征的隨機游走模型：該方法可以進行並行計算，具有較好的執行效率，但准確率與召回率相比嵌入式表示學習的方法存在劣勢。
本文的想法是：是否可以設計算法同時實現隨機游走模型的執行效率以及保留嵌入式表示學習方法的准確率？
論文：ISGIR 2016，Hierarchical Random Walk Inference in Knowledge
4.知識圖譜表示學習，將知識圖譜映射到低維稠密向量空間
論文：TransG : A Generative Model for Knowledge Graph Embedding
5.Word Representation
（1）one-hot representation
長度為詞典長度，每個詞在詞典中的位置置1，其余置0
Curse of Dimension, 不適合太大的字典
互相正交，難以表示詞語之間的相似性
（2）詞向量(distributed representation)
詞向量：http://licstar.net/archives/328（學習，很系統）
稠密、實值、低維的向量
便於Deep Learning
相似度用距離表示
word2vec
king-queen = man-woman
參考：https://blog.csdn.net/zlasd/article/details/69258491
這篇文章還有Trans系列、知識融合總結（值得細看）
6.論文筆記和源碼復現
| 序號 | 會議 | 論文 | 閱讀筆記 | 源碼復現 | 創新點 |
|---|---|---|---|---|---|
| [1] | AAAI 2016 | Representation Learning of Knowledge Graphs with Entity Descriptions | 戳這里 | 戳這里 | 無 |
參考：
參考：
https://www.cnblogs.com/jtianwen2014/p/7018872.html
https://www.cnblogs.com/jtianwen2014/p/7000190.html