Spark 中的RDD 就是一个不可变的分布式对象集合。每个RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义的对象。 用户可以使用两种方法创建RDD：读取一个外部数据集，或在 ...

...

据我们所知，有‘已知的已知’，有些事，我们知道我们知道；我们也知道，有 ‘已知的未知’，也就是说，有些事，我们现在知道我们不知道。但是，同样存在‘不知的不知’——有些事，我们不知道我们不知道。 上一章中分类和回归都属于监督学习。当目标值是未知时，需要使用非监督学习，非监督学习不会学习如何预测 ...

("README.md")//打开spark文件夹中的README.md文件 lines.count()//计 ...

问题重述 能够读取给定的数据文件 出租车GPS数据文件（taxi_gps.txt） 北京区域中心坐标及半径数据文件(district.txt) 能够输出以下统计信息 A：该出租车GPS数据文件（taxi_gps.txt）包含多少量车？ B：北京每个城区的车辆位置点数（每辆车有多个位置点 ...

摘要：Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程（共四部分）的第一部分。 Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此 ...

第五章案例代码总结与修改分析 【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】 每个案例代码全部为书中源代码，出现错误按照每个案例下面给出的代码错误，原因，及怎样修改进行修改即可解决每个案例错误 5-1 import pandas as pd filename ...

pandas是本书后续内容的首选库。pandas可以满足以下需求： 具备按轴自动或显式数据对齐功能的数据结构。这可以防止许多由于数据未对齐以及来自不同数据源（索引方式不同）的数据而导致的常见错误。. 集成时间序列功能 既能 ...