【NIPS2017】“深度高斯模型”可能為深度學習的可解釋性提供概率形式的理論指導？亞馬遜機器學習專家最新報告

專知

【導讀】在NIPS 2017上，亞馬遜機器學習專家Neil Lawrence在12月4日在長灘現場進行了一場“基於高斯模型的深度概率模型”的演講報告。這場報告Neil Lawrence形象化地講解了使用高斯過程來建模深度網絡，並且深入淺出地講解了什么是機器學習，不確定性的含義以及深度神經網絡和高斯過程的一些關聯等等，PPT內容干貨很多，是學習機器學習概率理論的好文，后續專知會持續講解PPT里的相關概念，敬請期待。

▌深度高斯過程

當前神經網絡模型, 結構上非常清晰, 但是人們很難完整的把一個神經網絡結構形式化成一個公式。而高斯過程正相反, 我們可以輕松的把任意一個高斯過程用公式完美刻畫, 但當我們去用算法實現它, 卻發現這是比較困難的。這篇報告中，作者試圖使用高斯過程來代替神經網絡中的一個層，來減少深度神經網絡復雜的計算形式，這樣使用一種概率模型的方式來進行深度神經網絡的計算，可以為后續深度學習的可解釋性提供概率形式的理論指導。

當我們聽到“深度高斯過程”的時候, 我們在想些什么? 我們可能會問:

高斯過程能夠做些什么? 它能夠替換掉神經網絡的某些層么?或者說, 有沒有可能將高斯過程和神經網絡的某些層結合起來做點事情?比如用高斯過程做神經網絡的預處理, 或者先用神經網絡提特征然后在feed給高斯過程?
有沒有好的訓練算法, 能夠高效的解非常復雜的高斯過程? 類似現在的很多深度學習這樣.
深度高斯過程的時間和空間復雜度是怎樣的? 同樣的任務, 相比於深度學習模型, 有哪些差異?
如何魯棒？據說高斯過程在小數據集上比較work, 在有很多數據缺失的情況下也很魯棒?
高斯過程數學公式很多，難學？高斯過程並不是很火, 那些公式的堆疊看上去非常復雜, 拿來用的話, 是不是要再補一補數學?

在NIPS 2017上, Neil Lawrence, 進行了題為 "Deep Probabilistic Modelling with Gaussian Processes"的報告, 把上面的問題, 清晰地闡述了一下。

▌Neil Lawrence簡介

Neil Lawrence 是英國謝菲爾德大學教授，著名機器學習／高斯過程專家，現在加入亞馬遜在英國劍橋領導一個機器學習團隊。

個人主頁：http://inverseprobability.com/

▌PPT簡介

摘要

神經網絡模型, 結構上非常清晰, 但是人們很難完整的把一個神經網絡結構形式化成一個公式. 而高斯過程正相反, 我們可以輕松的把任意一個高斯過程用公式完美刻畫, 但當我們去用算法實現它, 卻發現這是比較困難的。在這篇報告里, 作者討論深度高斯過程模型(Deep Probabilistic Modelling with Gaussian Processes), 類似所有高斯過程, 這一模型, 在數學形式上是簡單和清晰的, 但在算法結構上充滿挑戰。

在文中, 作者將給出高斯過程的概述, 然后着重講解如何基於變分來從算法上近似高斯過程, 從而將高斯過程堆疊起來, 形成我們的目標: deep Gaussian process. 報告最后, 會聊一聊深度高斯過程模型在uncertainty quantification上的應用, 以及與深度高斯過程相關的一些open questions。

PPT報告內容如下：