Spark2 Dataset统计指标：mean均值，variance方差，stddev标准差，corr(Pearson相关系数)，skewness偏度，kurtosis峰度

本文转载自查看原文 2016-11-25 17:55 5020 4.2--MySQL/ 4.1--Oracle/ 4.3--SQL Server/ 2.0--Spark/ 2.3--Hive

val df4=spark.sql("SELECT mean(age),variance(age),stddev(age),corr(age,yearsmarried),skewness(age),kurtosis(age) FROM Affairs")

df4.show
+--------+------------------+------------------+-----------------------+-----------------+--------------------+
|avg(age)|     var_samp(age)|  stddev_samp(age)|corr(age, yearsmarried)|    skewness(age)|       kurtosis(age)|
+--------+------------------+------------------+-----------------------+-----------------+--------------------+
|    34.0|173.33333333333334|13.165611772087667|     0.7456766124552038|0.965388004190285|-0.43417159763313595|
+--------+------------------+------------------+-----------------------+-----------------+--------------------+

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 区别 |峰度（Kurtosis）和偏度（Skewness） matlab求峰度(kurtosis）、偏度(skewness)得函数及python对应的峰度(kurtosis）、偏度(skewness)函数平均值(Mean)、方差(Variance)、标准差(Standard Deviation) （转）平均值(Mean)、方差(Variance)、标准差(Standard Deviation) 区别 R语言实现计算两个向量的协方差、标准差、皮尔逊相关系数 R语言中计算最大值、最小值、平均数、中位数、方差、标准差、协方差、相关系数 4 series、Dataframe基本信息描述及统计（维度、形状、均值、求和、协方差、相关系数、排名） numpy 计算均值、方差、标准差协方差与相关系数 Pearson相关系数和Spearman相关系数的区别