原文:數據處理不等式:Data Processing Inequality

我是在差分隱私下看到的,新解決方案的可用性肯定小於原有解決方案的可用性,也就是說信息的后續處理只會降低所擁有的信息量。 那么如果這么說的話為什么還要做特征工程呢,這是因為該不等式有一個巨大的前提就是數據處理方法無比的強大,比如很多的樣本要分類,我們做特征提取后,SVM效果很好 ,但是如果用DNN之類的CNN AuToEncoder,那么效果反而不如原來特征。這樣就能理解了,DNN提取能力更強,那 ...

2017-11-02 11:48 0 1409 推薦指數:

查看詳情

集合不等式之Bonferroni inequality

Bonferroni不等式: \(\begin{array}{l} p({A_1} \cap {A_2}) \ge p({A_1}) + p({A_2}) - 1\\ p({A_1} \cap {A_2}.... \cap {A_n}) \ge p({A_1}) + p({A_2 ...

Tue Jul 06 00:42:00 CST 2021 0 269
馬爾科夫不等式:Markov Inequality

馬爾科夫不等式:Markov Inequality : X 是非負變量,則有: \[P(X \geqslant a) \leqslant \frac{E(X)}{a} \] 證明: \[E(X) = \int_{0}^{+\infty}xf(x)dx\\ =\int_ ...

Wed Oct 21 19:05:00 CST 2020 0 429
Jensen 不等式

若f(x)為區間I上的下凸(上凸)函數,則對於任意xi∈I和滿足∑λi=1的λi>0(i=1,2,...,n),成立: \[f(\sum ^{n} _{i=1} \lambda _{i}x_{ ...

Thu Mar 07 06:09:00 CST 2019 0 782
不等式筆記

均值不等式 條件:\(a_i\ge0\)。 平方平均數:\(Q_n=\sqrt{\dfrac{\sum_{i=1}^{n}a_i^2}{n}}\) 算數平均數:\(A_n=\dfrac{\sum_{i=1}^{n}a_i}{n}\) 幾何平均數:\(G_n=\sqrt[n]{a_1a_2 ...

Wed Oct 20 19:49:00 CST 2021 0 144
Jensen不等式

(1)定義 設f是定義域為實數的函數,如果對所有的實數x,f(x)的二階導數都大於0,那么f是凸函數。 Jensen不等式定義如下: 如果f是凸函數,X是隨機變量,那么: 。當且僅當X是常量時,該式取等號。其中,E(X)表示X的數學期望。 注:Jensen不等式應用於凹函數時,不等號方向 ...

Tue Mar 01 19:44:00 CST 2022 0 1436
基本不等式

不等式 $1$: $$a^{2} + b^{2} \geq 2ab$$ 從代數角度來證明: $$(a - b)^{2} \geq 0 \\\Rightarrow a^{2} -2ab + b^{2} \geq 0 \\\Rightarrow a^{2} + b^{2} \geq 2ab ...

Thu Nov 12 00:15:00 CST 2020 0 6858
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM