在概率论和数理统计中,高斯过程(英语:Gaussian process)是观测值出现在一个连续域(例如时间或空间)的统计模型。是随机过程(stochastic process)的一种,是一系列服从正态分布的随机变量(random variable)在一指数集(index set)内的组合。
高斯过程中任意随机变量的线性组合都服从正态分布,每个有限集都服从联合正态分布,且其本身在连续指数集上的概率密度函数即是所有随机变量的联合正态分布(高斯测度),因此被视为联合正态分布的无限维广义延伸。
高斯过程由其数学期望和核函数(协方差函数)完全决定,并继承了正态分布的诸多性质。
高斯过程常用于统计建模中,而使用高斯过程的模型可以得到高斯过程的属性。 对高斯过程进行建模和预测是机器学习、信号处理等领域的重要内容。
高斯过程的例子包括维纳过程、奥恩斯坦-乌伦贝克过程等。
link: https://baike.baidu.com/item/%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B/4535435?fr=aladdin
引理:对高斯随机向量 ,若有指数集
,则随机过程
是高斯过程;反之,若随机过程
是高斯过程,则
是高斯随机向量。
高斯过程指的是一组随机变量的集合,这个集合里面的任意有限个随机变量都服从联合正态分布。
当 的子集
对任意
都是高斯随机向量时,


预备知识: 高斯分布(函数)、随机过程、以及贝叶斯概率等 。
考虑使用 高斯过程(GP)的原因:
将高斯过程与贝叶斯概率有机结合在一起,构造了强大的数学方法(或称模型)。
高斯过程模型属于无参数模型,相对解决的问题复杂度及与其它算法比较减少了算法计算量。
高斯模型可以解决高维空间(实际上是无限维)的数学问题,可以面对负杂的数学问题。
结合贝叶斯概率算法,可以实现通过先验概率,推导未知后验输入变量的后验概率。由果推因的概率。
高斯过程观测变量空间是连续域,时间或空间。
高斯过程观测变量空间是实数域的时候,我们就可以进行回归而实现预测。
高斯过程观测变量空间是整数域的时候(观测点是离散的),我们就可以进行分类。结合贝叶斯算法甚至可以实现单类分类学习(训练),面对小样本就可以实现半监督学习而后完成分类。面对异常检测领域很有用,降低打标签成本(小样本且单类即可训练模型)。
所以说,我们快点进入高斯过程-贝叶斯概率算法模型吧,功能非凡。
接下来慢慢展开学习之旅吧。
二、高斯分布(高斯函数)
高斯函数的详细分析 https://blog.csdn.net/jorg_zhao/article/details/52687448
【 论文中遇到很重要的一个元素就是高斯核函数,但是必须要分析出高斯函数的各种潜在属性,本文首先参考相关材料给出高斯核函数的基础,然后使用matlab自动保存不同参数下的高斯核函数的变化gif动图,同时分享出源代码,这样也便于后续的论文写作。】
https://blog.csdn.net/zyttae/article/details/41086773
一维高斯函数
我们通常所说的标准正态分布是位置参数μ=0μ=0,尺度参数σ=1σ=1的正态分布(见下图中红色曲线)。
高斯函数广泛应用于统计学领域,用于表述正态分布,在信号处理领域,用于定义高斯滤波器,在图像处理领域,二维高斯核函数常用于高斯模糊Gaussian Blur,在数学领域,主要是用于解决热力方程和扩散方程,以及定义Weiertrass Transform(韦尔斯特拉斯变换)。