从高斯过程到贝叶斯优化
第一篇博客，浅谈自己对高斯过程和贝叶斯优化的理解，有误处欢迎指正。 一. 高斯过程回归 1. 高斯过程到底是个什么东西？！ 简单来说，高斯过程可以看成是一个函数，函数的输入是x，函数的输出是高斯分布的均值和方差。 对于一些X值有对应的Y值，从X到Y存在映射关系f，即f（X）=Y ...
原文：基于高斯过程的贝叶斯优化(二)AC函数
上节介绍过acquistion function AC函数 是用来利用之前的信息寻找下一个 x t 。下面介绍AC函数的具体形式： 目前主流的AC函数主要有三种Probability of Improvement PI ，Excepted Improvement EI ，GP Upper Confidence Bound GP UCB 三种。 首先介绍下最基本的数学背景。 记 mathcal D ...
2019-03-19 14:37 0 694 推荐指数：
相关推荐
基于高斯过程的贝叶斯优化(一)引言
阅读本文默认具有一定的概率数理统计与随机过程基础。 假设我们有一个机器学习模型M（如XGBoost，SVM，神经网络等），其超参数为记为$x_i$，则每对M进行评估的结果可记为$y_i=f(x_i)$，在这里$y_i$可以是LOSS等评价指标。问题在于如何选择超参数找到我们的最优超参数$x ...
基于高斯过程的贝叶斯优化(三)GP超参数的估计
前面的文章大致描述了基于高斯过程(GP)贝叶斯优化的原理框架，该框架中也存在了几个参数，本篇文章简单介绍如何对他们进行估计。 首先介绍一下贝叶斯优化框架的超参数有哪些： 回忆我们将高斯过程表述为以下形式: \[f ( x ) \sim G P \left( m ( x ) , k \left ...
<转>浅谈：高斯过程与贝叶斯优化
高斯过程（Gaussian process） 高斯过程常在论文里面简写为GP。定义：如果随机过程的有限维分布均为正态分布，则称此随机过程为高斯过程或正态过程。 首先我们来解读一下定义： 第一个问题：什么是随机过程？ 大家都学过概率论，一定知道什么叫样本空间和随机变量（此处假设读者知道 ...
高斯贝叶斯
高斯贝叶斯用来处理连续数据，假设数据里每个特征项相关联的数据是连续值并且服从高斯分布，参考这里。 概率公式：在《白话大数据与机器学习》里使用了sklearn里的GaussionNB来处理连续数据：训练模型 clf = GaussianNB().fit(x, y)预测数据 ...
贝叶斯优化
目录 简介 贝叶斯优化框架 概率代理模型 参数模型 汤普森采样和Beta-Bernouli模型 线性模型(Linear models) 非参数模型 高斯过程 ...
基于贝叶斯优化的超参数tuning
https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/ 贝叶斯优化：使用高斯过程作为代理函数，并且通常优化提升幅度的期望Expected Improvement(新试验相对当前最好观测 ...