基于高斯过程的贝叶斯优化(一)引言
阅读本文默认具有一定的概率数理统计与随机过程基础。 假设我们有一个机器学习模型M（如XGBoost，SVM，神经网络等），其超参数为记为$x_i$，则每对M进行评估的结果可记为$y_i=f(x_i)$，在这里$y_i$可以是LOSS等评价指标。问题在于如何选择超参数找到我们的最优超参数$x ...
原文：基于高斯过程的贝叶斯优化(三)GP超参数的估计
前面的文章大致描述了基于高斯过程 GP 贝叶斯优化的原理框架，该框架中也存在了几个参数，本篇文章简单介绍如何对他们进行估计。 首先介绍一下贝叶斯优化框架的超参数有哪些： 回忆我们将高斯过程表述为以下形式: f x sim G P left m x , k left x , x prime right right 其中 m x 表示均值函数，一般都设为 ，不需要更新，我们更关心的是核函数k，核函数的 ...
2019-03-22 14:04 0 1619 推荐指数：
相关推荐
从高斯过程到贝叶斯优化
第一篇博客，浅谈自己对高斯过程和贝叶斯优化的理解，有误处欢迎指正。 一. 高斯过程回归 1. 高斯过程到底是个什么东西？！ 简单来说，高斯过程可以看成是一个函数，函数的输入是x，函数的输出是高斯分布的均值和方差。 对于一些X值有对应的Y值，从X到Y存在映射关系f，即f（X）=Y ...
基于贝叶斯优化的超参数tuning
https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/ 贝叶斯优化：使用高斯过程作为代理函数，并且通常优化提升幅度的期望Expected Improvement(新试验相对当前最好观测 ...
超参数贝叶斯优化
超参数(Hyper-parameter)是定义模型或者定义训练过程的参数,是相对于模型参数(Parameter)来说的,比如目标检测网络的网络结构,激活函数的选择,学习率的大小,Anchor的尺寸等等,都属于超参数.超参数对网络的性能(如目标检测网络的mAP等)有很大的影响,因此需要找到性能最优 ...
基于高斯过程的贝叶斯优化(二)AC函数
上节介绍过acquistion function(AC函数)是用来利用之前的信息寻找下一个$x_{t+1}$。下面介绍AC函数的具体形式： 目前主流的AC函数主要有三种Probability of Improvement(PI)，Excepted Improvement(EI)，GP Upper ...
<转>浅谈：高斯过程与贝叶斯优化
高斯过程（Gaussian process） 高斯过程常在论文里面简写为GP。定义：如果随机过程的有限维分布均为正态分布，则称此随机过程为高斯过程或正态过程。 首先我们来解读一下定义： 第一个问题：什么是随机过程？ 大家都学过概率论，一定知道什么叫样本空间和随机变量（此处假设读者知道 ...
贝叶斯参数估计
(学习这部分内容约需要1.9小时) 摘要 在贝叶斯框架中, 我们将统计模型的参数视为随机变量. 模型由变量值的先验分布以及决定参数如何影响观测数据的证据模型来指定. 当我们对观测数据进行条件化时, 我们得到参数的后验分布. 术语"贝叶斯参数估计"会让我们误以为对参数进行了估计, 实际上我们通常 ...
贝叶斯的三个参数估计
1. 贝叶斯之参数估计 1. 贝叶斯之参数估计 1.1. 背景知识 1.2. 最大似然估计（MLE） 1.3. 最大后验概率估计（MAP） 1.4. 贝叶斯估计 1.5. 什么时候 MAP 估计与最大似然估计相等 1.1. ...