基于高斯过程的贝叶斯优化(一)引言
阅读本文默认具有一定的概率数理统计与随机过程基础。 假设我们有一个机器学习模型M（如XGBoost，SVM，神经网络等），其超参数为记为$x_i$，则每对M进行评估的结果可记为$y_i=f(x_i)$，在这里$y_i$可以是LOSS等评价指标。问题在于如何选择超参数找到我们的最优超参数$x ...
原文：<转>浅谈：高斯过程与贝叶斯优化
高斯过程 Gaussian process 高斯过程常在论文里面简写为GP。定义：如果随机过程的有限维分布均为正态分布，则称此随机过程为高斯过程或正态过程。 首先我们来解读一下定义： 第一个问题：什么是随机过程 大家都学过概率论，一定知道什么叫样本空间和随机变量 此处假设读者知道 。在概率论中，讲过样本空间，随机变量相当于是在样本空间中的一次采样，采样的结果是一个事件，在每次采样的时候都满足一定的 ...
2018-08-21 10:25 0 3074 推荐指数：
相关推荐
从高斯过程到贝叶斯优化
第一篇博客，浅谈自己对高斯过程和贝叶斯优化的理解，有误处欢迎指正。 一. 高斯过程回归 1. 高斯过程到底是个什么东西？！ 简单来说，高斯过程可以看成是一个函数，函数的输入是x，函数的输出是高斯分布的均值和方差。 对于一些X值有对应的Y值，从X到Y存在映射关系f，即f（X）=Y ...
基于高斯过程的贝叶斯优化(二)AC函数
上节介绍过acquistion function(AC函数)是用来利用之前的信息寻找下一个$x_{t+1}$。下面介绍AC函数的具体形式： 目前主流的AC函数主要有三种Probability of ...
基于高斯过程的贝叶斯优化(三)GP超参数的估计
前面的文章大致描述了基于高斯过程(GP)贝叶斯优化的原理框架，该框架中也存在了几个参数，本篇文章简单介绍如何对他们进行估计。 首先介绍一下贝叶斯优化框架的超参数有哪些： 回忆我们将高斯过程表述为以下形式: \[f ( x ) \sim G P \left( m ( x ) , k \left ...
高斯贝叶斯
高斯贝叶斯用来处理连续数据，假设数据里每个特征项相关联的数据是连续值并且服从高斯分布，参考这里。 概率公式：在《白话大数据与机器学习》里使用了sklearn里的GaussionNB来处理连续数据：训练模型 clf = GaussianNB().fit(x, y)预测数据 ...
贝叶斯优化
目录 简介 贝叶斯优化框架 概率代理模型 参数模型 汤普森采样和Beta-Bernouli模型 线性模型(Linear models) 非参数模型 高斯过程 ...
浅谈贝叶斯推断
一、什么是贝叶斯推断 贝叶斯推断（Bayesian inference）是一种统计学方法，用来估计统计量的某种性质。它是贝叶斯定理（Bayes' theorem）的应用。英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。 贝叶斯 ...
浅谈朴素贝叶斯
贝叶斯公式 贝叶斯公式由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P ...