基于高斯过程的贝叶斯优化(一)引言
阅读本文默认具有一定的概率数理统计与随机过程基础。 假设我们有一个机器学习模型M（如XGBoost，SVM，神经网络等），其超参数为记为$x_i$，则每对M进行评估的结果可记为$y_i=f(x_i) ...
原文：高斯贝叶斯
高斯贝叶斯用来处理连续数据，假设数据里每个特征项相关联的数据是连续值并且服从高斯分布，参考这里。 概率公式：在 白话大数据与机器学习 里使用了sklearn里的GaussionNB来处理连续数据：训练模型 clf GaussianNB .fit x, y 预测数据 clf.predict x 这里我们来实现一下高斯贝叶斯算法，看看该算法具体是如果实现的。 准备数据首先我们需要一些训练数据 这里使用 ...
2016-08-16 10:32 0 1606 推荐指数：
相关推荐
从高斯过程到贝叶斯优化
第一篇博客，浅谈自己对高斯过程和贝叶斯优化的理解，有误处欢迎指正。 一. 高斯过程回归 1. 高斯过程到底是个什么东西？！ 简单来说，高斯过程可以看成是一个函数，函数的输入是x，函数的输出是高斯分布的均值和方差。 对于一些X值有对应的Y值，从X到Y存在映射关系f，即f（X）=Y ...
基于高斯过程的贝叶斯优化(二)AC函数
上节介绍过acquistion function(AC函数)是用来利用之前的信息寻找下一个$x_{t+1}$。下面介绍AC函数的具体形式： 目前主流的AC函数主要有三种Probability of ...
基于高斯过程的贝叶斯优化(三)GP超参数的估计
前面的文章大致描述了基于高斯过程(GP)贝叶斯优化的原理框架，该框架中也存在了几个参数，本篇文章简单介绍如何对他们进行估计。 首先介绍一下贝叶斯优化框架的超参数有哪些： 回忆我们将高斯过程表述为以下形式: \[f ( x ) \sim G P \left( m ( x ) , k \left ...
<转>浅谈：高斯过程与贝叶斯优化
高斯过程（Gaussian process） 高斯过程常在论文里面简写为GP。定义：如果随机过程的有限维分布均为正态分布，则称此随机过程为高斯过程或正态过程。 首先我们来解读一下定义： 第一个问题：什么是随机过程？ 大家都学过概率论，一定知道什么叫样本空间和随机变量（此处假设读者知道 ...
sklearn机器学习：高斯朴素贝叶斯GaussianNB
认识高斯朴素贝叶斯class sklearn.naive_bayes.GaussianNB (priors=None, var_smoothing=1e-09)如果Xi是连续值，通常Xi的先验概率为高斯分布（也就是正态分布），即在样本类别Ck中，Xi的值符合正态分布。以此来估计每个特征下每个类别 ...
贝叶斯来理解高斯混合模型GMM
最近学习基础算法《统计学习方法》，看到利用EM算法估计高斯混合模型(GMM)的时候，发现利用贝叶斯的来理解高斯混合模型的应用其实非常合适。 首先，假设对于贝叶斯比较熟悉，对高斯分布也熟悉。本文将GMM用于聚类来举例。 除了简单的高斯分布，理论上通过组合多个不同的高斯分布可以构成任意复杂 ...
贝叶斯和朴素贝叶斯是啥
目录 一、贝叶斯 什么是先验概率、似然概率、后验概率 公式推导 二、为什么需要朴素贝叶斯 三、朴素贝叶斯是什么 条件独立 举例：长肌肉 拉普拉斯平滑 半朴素贝叶斯 一、贝叶斯 ...