随机逼近算法简介

2013-12-30 18:41:12 gnefniu 阅读数 4918更多

分类专栏： 点滴

 

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/gnefniu/article/details/17686241

 

        随机逼近法，是一种应用广泛的参数估计方法。它是在有随机误差干扰的情况下，用逐步逼近的方式估计某一特定值的数理统计方法。

        寻找带误差的量测到的未知回归函数的零点或极值,是系统辨识，适应控制、模式识别、适 应滤波和神经元网络等领域中都要遇到的问题。 随机逼近提供了解决这一问题的递推方法 。

 

        当既不知道函数的表达式，又不能无误差的测量到函数值时，如何求解函数的零点或者极值，就是随机逼近要解决的问题。随机逼近控制方法有RM法，KW法。其中，基于KW法上的变形情况有：有限微分随机逼近算法(FDSA)、随机方向的随机逼近算法(RDSA)和同时扰动随机逼近算法(SPSA)。

 

        随机逼近法就是利用变量 x1,x2… 及对应的随机变量 y(x1),y(x2)…，通过迭代计算，逐步逼近方程式的解。常用的迭代算法为Robbins-Monro (RM)算法和Keifer-Wolfowitz(KW)算法。在随机系统的估计、预报、控制和优化中，常常使用随机逼近算法。

 

       设未知函数为h(x),它的零点为x0,h(x0)=0……(1),对 h (.) 可以在任一点x进行测量，但测量带有误差，若xn为第n次测量时所取定的自变量的值，则函数的观测值为：y(n+1)=h(xn)+ζ(n+1)……(2),其中{ζn} 是测量误差序列，可以依赖于xn，h(.)称为回归函数。用实际得到的序列 {xn} 和 {yn},去求回归函数的根x0,这就是随机逼近问题。