皮尔逊积矩相关系数的学习
做相似度计算的时候经常会用到皮尔逊相关系数(Pearson Correlation Coefficient)，那么应该如何理解该系数？其数学本质、含义是什么？
皮尔逊相关系数理解有两个角度
一、以高中课本为例，将两组数据首先做Z分数处理之后，然后两组数据的乘积和除以样本数。
Z分数一般代表正态分布中数据偏离中心点的距离。等于变量减掉平均数再除以标准差。标准差则等于变量减掉平均数的平方和再除以样本数最后再开方。所以我们可以将公式依次精简为：
以下为python的实现：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
from
math
import
sqrt
#返回p1和p2的皮尔逊相关系数
def
sim_pearson(prefs,p1,p2):
#得到双方曾评价过的物品列表
si
=
{}
for
item
in
prefs[p1]:
if
item
in
prefs[p2]:
si[item]
=
1
#得到列表元素个数
n
=
len
(si)
#如果两者没有共同之处，则返回1
if
not
n:
return
1
#对所有偏好求和
sum1
=
sum
([perfs[p1][it]
for
it
in
si])
sum2
=
sum
([perfs[p2][it]
for
it
in
si])
#求平方和
sum1Sq
=
sum
([
pow
(prefs[p1][it],
2
)
for
it
in
si])
sum2Sq
=
sum
([
pow
(prefs[p2][it],
2
)
for
it
in
si])
#求乘积之和
pSum
=
sum
([prefs[p1][it]
*
prefs[p2][it]
for
it
in
si])
#计算皮尔逊评价值
num
=
pSum
-
(sum1
*
sum2
/
2
)
den
=
sqrt((sum1Sq
-
pow
(sum1,
2
)
/
n)
*
(sum2Sq
-
pow
((sum2,
2
)
/
2
)))
if
not
den:
return
0
r
=
num
/
den
return
r
|
二、 按照大学的线性数学水平来理解，它比较复杂一点可以看做是两组数据的向量夹角的余弦。
对于没有中心化的数据, 相关系数与两条可能的回归线y=gx(x) 和 x=gy(y) 夹角的余弦值一致。
1、n个数值组成的行(x1, x2, x3,… xn)称为n维向量简记为大写字母X
|X| = √x12+x22+x32+…+xn2 定义为向量X的模，向量X与Y的内积为： X·Y=x1*y1+x2*y2+..xn*yn
2、向量X及Y的向量夹角余弦按照下式计算：
X·Y
cosθ =
|X|×|Y|
3、向量夹角余弦约接近1说明两向量相似度越高。
以下为Python的实现：
|
1
2
3
|
import
math,numpy
def
cosine_distance(u, v):
return
numpy.dot(u, v)
/
(math.sqrt(numpy.dot(u, u))
*
math.sqrt(numpy.dot(v, v)))
|
从以上解释,也可以理解皮尔逊相关的约束条件:
-
两个变量间有线性关系
-
变量是连续变量
-
变量均符合正态分布,且二元分布也符合正态分布
-
两变量独立
在实践统计中一般只输出两个系数,一个是相关系数也就是计算出来的相关系数大小(在-1到1之间)，另一个是独立样本检验系数，用来检验样本一致性。