高斯過程回歸


參考資料:

http://kingfengji.com/?p=44

說說高斯過程回歸

http://www.cnblogs.com/tornadomeet/archive/2013/06/15/3137239.html

機器學習&數據挖掘筆記_11(高斯過程回歸)

 

在網上找了許久,終於找到幾篇關於介紹這方面的文章,在第一篇文章的鏈接中,我們可以去下載一些demo

不過沒看明白,程序也沒調通。大神們,可以在試試。

 

何為高斯過程回歸:

其實分為兩個過程,高斯過程+回歸。

高斯過程:其實就是在函數上的正態分布。它是由多個高斯函數組成的線性集合。

小知識:高斯分布其實就是正態分布,我們現在講的高斯其實就是一個模型。高斯模型。

高斯模型具體是啥,大家可以想象一下高斯函數的分布,就是那個中間寬,兩邊窄的東東。

描述為:

回歸:回歸是一種關系。Xi與yi之間的關系。比如說線性回歸分析,這里面就是指x與y存在線性關系,即一次函數關系。

 

看看下面的公式:

實例:

如何計算k?需要一個核函數,在高斯過程回歸里面,我們最常見的kernel就是svm里面的高斯核,為了避免命名上的混淆,我們一般稱之為平方指數核函數。

Squared exponential kernel .

 

現在我們繼續分析上面的例子,假如我們通過高斯核函數,算出來K11—K33,這時x*又出來搗蛋了,它對應的f*是多少呢?

我們根據上面計算出來的f和K,可以對x*進行預測,因為它本身就是一個函數,是函數的話,知道x就一定可以算出y。此時,我們可以根據聯合分布

的所有參數,算出其對應的p(f*),也就是說,此方法給出了預測值所隸屬的整個后驗概率分布,我們得到的是f*的整個分布,不是點估計。

 

在道路邊緣檢測算法當中,當我們對其進行GPR()的時候,你會發現我們計算出model后,需要對其進行評估,將不滿足條件的點給干掉。

(對於每一塊區域)先通過HT 霍夫變換得到種子點,然后利用種子點之間的關系,比如協方差K,利用這個關系去預測其他點是不是滿足這個模型。(理解為直線模型),第二步,去eval,對於這里面的每個點,X屬於test,計算k(x*,x*)和K(X,x*),未知點,測試的點。然后和我們自己定義的tmodel(測試點x*的方差的閾值)和tdata(測試點x*到它的預測均值f*)去比較。當滿足的時候,我們認為其滿足,並保留到sp當中,從初始選擇的種子點的集合sp開始,每一次迭代都從Sc中,選擇snew,滿足就累加,直到Sc為空。也就是這一塊區域都找到為止。

 

其實這種算法,和區域生長算法類似,都是將定義的點每個檢測,然后增加其長度。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM