Spark快速大数据分析之RDD基础
Spark 中的RDD 就是一个不可变的分布式对象集合。每个RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义的对象。 用户可以使用两种方法创建RDD：读取一个外部数据集，或在 ...
原文：第2天Python实战Spark大数据分析及调度-RDD编程
Spark提供的主要抽象是resilient distributed dataset RDD 弹性分布式数据集，它是跨集群节点划分的元素的集合，可以并行操作。通过从Hadoop文件系统 或任何其他Hadoop支持的文件系统 中的文件或驱动程序中现有的Scala集合开始并进行转换来创建RDD。用户还可以要求Spark将RDD 保留在内存中，以使其能够在并行操作中有效地重用。最后，RDD自动从节点故障 ...
2020-05-31 15:23 0 1179 推荐指数：
相关推荐
python 大数据分析
threadpool.py ...
基于Pycharm的Spark大数据分析
问题重述 能够读取给定的数据文件 出租车GPS数据文件（taxi_gps.txt） 北京区域中心坐标及半径数据文件(district.txt) 能够输出以下统计信息 A：该出租车GPS数据文件（taxi_gps.txt）包含多少量车？ B：北京每个城区的车辆位置点数（每辆车有多个位置点 ...
Apache Spark大数据分析入门（一）
摘要：Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程（共四部分）的第一部分。 Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此 ...
向大家介绍我的新书：《基于股票大数据分析的Python入门实战》
我在公司里做了一段时间Python数据分析和机器学习的工作后，就尝试着写一本Python数据分析方面的书。正好去年有段时间股票题材比较火，就在清华出版社夏老师指导下构思了这本书。在这段特殊时期内，夏老师和出版社的其它老师为这本书到处奔走，终于在近期上市。 《基于股票大数据分析 ...
Python大数据分析之数据处理
...