原文:数据处理不等式:Data Processing Inequality

我是在差分隐私下看到的,新解决方案的可用性肯定小于原有解决方案的可用性,也就是说信息的后续处理只会降低所拥有的信息量。 那么如果这么说的话为什么还要做特征工程呢,这是因为该不等式有一个巨大的前提就是数据处理方法无比的强大,比如很多的样本要分类,我们做特征提取后,SVM效果很好 ,但是如果用DNN之类的CNN AuToEncoder,那么效果反而不如原来特征。这样就能理解了,DNN提取能力更强,那 ...

2017-11-02 11:48 0 1409 推荐指数:

查看详情

集合不等式之Bonferroni inequality

Bonferroni不等式: \(\begin{array}{l} p({A_1} \cap {A_2}) \ge p({A_1}) + p({A_2}) - 1\\ p({A_1} \cap {A_2}.... \cap {A_n}) \ge p({A_1}) + p({A_2 ...

Tue Jul 06 00:42:00 CST 2021 0 269
马尔科夫不等式:Markov Inequality

马尔科夫不等式:Markov Inequality : X 是非负变量,则有: \[P(X \geqslant a) \leqslant \frac{E(X)}{a} \] 证明: \[E(X) = \int_{0}^{+\infty}xf(x)dx\\ =\int_ ...

Wed Oct 21 19:05:00 CST 2020 0 429
Jensen 不等式

若f(x)为区间I上的下凸(上凸)函数,则对于任意xi∈I和满足∑λi=1的λi>0(i=1,2,...,n),成立: \[f(\sum ^{n} _{i=1} \lambda _{i}x_{ ...

Thu Mar 07 06:09:00 CST 2019 0 782
不等式笔记

均值不等式 条件:\(a_i\ge0\)。 平方平均数:\(Q_n=\sqrt{\dfrac{\sum_{i=1}^{n}a_i^2}{n}}\) 算数平均数:\(A_n=\dfrac{\sum_{i=1}^{n}a_i}{n}\) 几何平均数:\(G_n=\sqrt[n]{a_1a_2 ...

Wed Oct 20 19:49:00 CST 2021 0 144
Jensen不等式

(1)定义 设f是定义域为实数的函数,如果对所有的实数x,f(x)的二阶导数都大于0,那么f是凸函数。 Jensen不等式定义如下: 如果f是凸函数,X是随机变量,那么: 。当且仅当X是常量时,该式取等号。其中,E(X)表示X的数学期望。 注:Jensen不等式应用于凹函数时,不等号方向 ...

Tue Mar 01 19:44:00 CST 2022 0 1436
基本不等式

不等式 $1$: $$a^{2} + b^{2} \geq 2ab$$ 从代数角度来证明: $$(a - b)^{2} \geq 0 \\\Rightarrow a^{2} -2ab + b^{2} \geq 0 \\\Rightarrow a^{2} + b^{2} \geq 2ab ...

Thu Nov 12 00:15:00 CST 2020 0 6858
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM