需求是：对于一个设备，求一天内每个小时的平均值，一个月内每天的平均值，更通用的需求是，从起始时间到结束时间，每隔一段时间，求一个平均值。目前的解决策略是：在存储过程中进行处理，从起始时间到结束时间，切割成段，求出每一段的平均值，合并起来。存在问题：数据量很大的时候，会存在严重的性能问题 ...

本篇文档是介绍如何快速使用spark，首先将会介绍下spark在shell中的交互api，然后展示下如何使用java,scala,python等语言编写应用。可以查看编程指南了解更多的内容。 为了良好的阅读下面的文档，最好是结合实际的练习。首先需要下载spark,然后安装hdfs ...

1. 需求背景 文本文件File里面存放公司各个部门人员的工资明细 salary.txt文件数据格式如下： deptId name salary 1001 张三01 2000 1002 李四02 2500 1003 张三05 3000 1002 王五01 2600 用程序写出各个部门的平均 ...

下面整理了“入门大数据”的一系列知识，可供学习和参考。 --Hadoop-- >>Hadoop是什么？ >>HDFS，Zookeeper，ZookeeperFailOverController（简称:ZKFC），JournalNode是什么？ >> ...

原文引自：http://blog.csdn.net/fengzhimohan/article/details/78535143　　 该案例中，我们将假设我们需要统计一个 10 万人口的所有人的平均年龄，当然如果您想测试 Spark 对于大数据的处理能力，您可以把人口数放的更大，比如 1 亿人口 ...

摘要：Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程（共四部分）的第一部分。 Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此 ...

Spark相比于Mapreduce的一大优势就是提供了很多的方法，可以直接使用；另一个优势就是执行速度快，这要得益于DAG的调度，想要理解这个调度规则，还要理解函数之间的依赖关系。 本篇就着重描述下Spark提供的Transformations方法. 依赖关系 宽依赖和窄依赖 ...

一、Spark介绍 Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R ...