Spark快速大数据分析之RDD基础
Spark 中的RDD 就是一个不可变的分布式对象集合。每个RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义的对象。 用户可以使用两种方法创建RDD：读取一个外部数据集，或在 ...
原文：Apache Spark大数据分析入门（一）
摘要：Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程 共四部分 的第一部分。 ApacheSpark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是ApacheSpark入门系列教程 共四部分 ...
2017-10-25 18:09 0 2158 推荐指数：
相关推荐
基于Pycharm的Spark大数据分析
问题重述 能够读取给定的数据文件 出租车GPS数据文件（taxi_gps.txt） 北京区域中心坐标及半径数据文件(district.txt) 能够输出以下统计信息 A：该出租车GPS数据文件（taxi_gps.txt）包含多少量车？ B：北京每个城区的车辆位置点数（每辆车有多个位置点 ...
大数据分析神兽麒麟(Apache Kylin)
1.Apache Kylin是什么？ 在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等）往往存在很大的局限，如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持；而利用Hadoop做 ...
《基于Apache Kylin构建大数据分析平台》
Kyligence联合创始人兼CEO，Apache Kylin项目管理委员会主席（PMC Chair）韩卿 武汉市云升科技发展有限公司董事长，《智慧城市—大数据、物联网和云计算之应用》作者杨正洪 万达网络科技集团大数据中心副总经理，《Spark高级数据分析》中文版译者龚少成 ...
分享一个.NET平台开源免费跨平台的大数据分析框架.NET for Apache Spark
今天早上六点半左右微信群里就看到张队发的关于.NET Spark大数据的链接https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/ ，正印证了“微软在不断通过.NET Core补齐各领域开发，真正实现一种 ...
分享一个.NET平台开源免费跨平台的大数据分析框架.NET for Apache Spark
我们都知道Spark是一种流行的开源分布式处理引擎，适用于大型数据集(通常是TB级别)的分析。Spark可用于处理批量数据，实时流，机器学习和即时查询。处理任务分布在一个节点集群上，数据被缓存在内存中，以减少计算时间。到目前为止，Spark已经可以通过Scala，Java，Python和R访问 ...
大数据分析案例
部分数据来源于网络，如有侵权请告知。 一、大数据分析在商业上的应用 1、体育赛事预测 世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼，预测全程64场比赛，准确率为67%，进入淘汰赛后准确率为94%。现在互联网公司取代章鱼保罗试水赛事预测也意味着未来 ...
大数据分析与挖掘
第一章 绪论 大数据分析与挖掘简介 大数据的四个特点(4v)：容量(Volume)、多样性(Variety)、速度(Velocity)和价值 概念：数据分析是用适当的统计分析方法，对收集来的大量数据进行分析，提取有用信息和形成结论并对数据加以详细研究和概括总结的过程。数据分析可以分为三个 ...