隨機逼近算法簡介

2013-12-30 18:41:12 gnefniu 閱讀數 4918更多

分類專欄： 點滴

 

版權聲明：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。

本文鏈接： https://blog.csdn.net/gnefniu/article/details/17686241

 

        隨機逼近法，是一種應用廣泛的參數估計方法。它是在有隨機誤差干擾的情況下，用逐步逼近的方式估計某一特定值的數理統計方法。

        尋找帶誤差的量測到的未知回歸函數的零點或極值,是系統辨識，適應控制、模式識別、適 應濾波和神經元網絡等領域中都要遇到的問題。 隨機逼近提供了解決這一問題的遞推方法 。

 

        當既不知道函數的表達式，又不能無誤差的測量到函數值時，如何求解函數的零點或者極值，就是隨機逼近要解決的問題。隨機逼近控制方法有RM法，KW法。其中，基於KW法上的變形情況有：有限微分隨機逼近算法(FDSA)、隨機方向的隨機逼近算法(RDSA)和同時擾動隨機逼近算法(SPSA)。

 

        隨機逼近法就是利用變量 x1,x2… 及對應的隨機變量 y(x1),y(x2)…，通過迭代計算，逐步逼近方程式的解。常用的迭代算法為Robbins-Monro (RM)算法和Keifer-Wolfowitz(KW)算法。在隨機系統的估計、預報、控制和優化中，常常使用隨機逼近算法。

 

       設未知函數為h(x),它的零點為x0,h(x0)=0……(1),對 h (.) 可以在任一點x進行測量，但測量帶有誤差，若xn為第n次測量時所取定的自變量的值，則函數的觀測值為：y(n+1)=h(xn)+ζ(n+1)……(2),其中{ζn} 是測量誤差序列，可以依賴於xn，h(.)稱為回歸函數。用實際得到的序列 {xn} 和 {yn},去求回歸函數的根x0,這就是隨機逼近問題。