spark MLlib 概念 1：相关系数（ PPMCC or PCC or Pearson's r皮尔森相关系数） and Spearman's correlation（史匹曼等级相关系数）

本文转载自查看原文 2015-02-01 16:49 2643 算法/ spark/ ML

皮尔森相关系数 定义：协方差与标准差乘积的商。

Pearson's correlation coefficient when applied to a population is commonly represented by the Greek letter ρ (rho) and may be referred to as the population correlation coefficient or the population Pearson correlation coefficient. The formula for ρ is:

\rho_{X,Y}={\mathrm{cov}(X,Y) \over \sigma_X \sigma_Y} ={E[(X-\mu_X)(Y-\mu_Y)] \over \sigma_X\sigma_Y}

where, $\mathrm{cov}$ is the covariance, $\sigma_X$ is the standard deviation of $X$ , $\mu_X$ is the mean of $X$ , and $E$ is the expectation.

适合计算机运行的公式：

Alternative formulae for the sample Pearson correlation coefficient are also available:

r_{xy}=\frac{\sum x_iy_i-n \bar{x} \bar{y}}{(n-1) s_x s_y}=\frac{n\sum x_iy_i-\sum x_i\sum y_i} {\sqrt{n\sum x_i^2-(\sum x_i)^2}~\sqrt{n\sum y_i^2-(\sum y_i)^2}}.

The above formula suggests a convenient single-pass algorithm for calculating sample correlations, but, depending on the numbers involved, it can sometimes benumerically unstable.

数学意义：

描述两个变量X, Y的线性相关性，且 不随变量的平移而改变。范围 [-1,1],当X,Y协变时大于0，逆变时小于0. 线性无关时等于0.

Spearman's rank correlation coefficient

分析两个变量的一致性程度。

定义：

For a sample of size n, the n raw scores $X_i, Y_i$ are converted to ranks $x_i, y_i$ , and ρ is computed from:

\rho = {1- \frac {6 \sum d_i^2}{n(n^2 - 1)}}.

where $d_i = x_i - y_i$ , is the difference between ranks

示例[编辑]

在此例中，我们要使用下表所给出的原始数据计算一个人的智商和其每周花在电视上的小时数的相关性。

智商, $X_i$	每周花在电视上的小时数, $Y_i$
106	7
86	0
100	27
101	50
99	28
103	29
97	20
113	12
112	6
110	17

首先，我们必须根据以下步骤计算出 $d^2_i$ ，如下表所示。

排列第一列数据 ( $X_i$ )。创建新列 $x_i$ 并赋以等级值 1,2,3,...n。
然后，排列第二列数据 ( $Y_i$ ). 创建第四列 $y_i$ 并相似地赋以等级值 1,2,3,...n。
创建第五列 $d_i$ 保存两个等级列的差值 ( $x_i$ 和 $y_i$ ).
创建最后一列 $d^2_i$ 保存 $d_i$ 的平方.

智商, $X_i$	每周花在电视上的小时数, $Y_i$	等级 $x_i$	等级 $y_i$	$d_i$	$d^2_i$
86	0	1	1	0	0
97	20	2	6	−4	16
99	28	3	8	−5	25
100	27	4	7	−3	9
101	50	5	10	−5	25
103	29	6	9	−3	9
106	7	7	3	4	16
110	17	8	5	3	9
112	6	9	2	7	49
113	12	10	4	6	36

根据 $d^2_i$ 计算 $\sum d_i^2 = 194$ 。样本容量n为 10。将这些值带入方程

\rho = 1- {\frac {6\times194}{10(10^2 - 1)}}

得 ρ = −0.175757575...

来源： <http://zh.wikipedia.org/wiki/%E6%96%AF%E7%9A%AE%E5%B0%94%E6%9B%BC%E7%AD%89%E7%BA%A7%E7%9B%B8%E5%85%B3%E7%B3%BB%E6%95%B0>

来自为知笔记(Wiz)

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 Spearman秩相关系数和Pearson皮尔森相关系数皮尔森相关系数(Pearson correlation coefficient) 三大统计相关系数：Pearson、Spearman秩相关系数、kendall等级相关系数皮尔森相关系数(Pearson correlation coefficient) Pearson、Spearman秩相关系数、kendall等级相关系数 (附python实现) Pearson（皮尔逊）相关系数与Spearman（斯皮尔曼）相关系数及其SPSS实现 Pearson相关系数 Pearson相关系数相关系数之皮尔森相关系数皮尔逊相关系数（Pearson Correlation Coefficient，Pearson's r）