Spark学习（二）：RDD编程
介绍： RDD--Resilient Distributed Dataset Spark中RDD是一个不可变的分布式对象集合。每个RDD被分为多个分区，这些分区运行在集群的不同的节点上。RDD可以包含Python、Java、Scala中的任意类型的对象，以及自定义的对象。 创建RDD的两种 ...
原文：【Spark】【RDD】初次学习RDD 笔记 汇总
RDD Author:萌狼蓝天 哔哩哔哩 萌狼蓝天 博客 https: mllt.cc 博客园 萌狼蓝天 博客园 微信公众号 mllt 学习交流QQ群 目录 RDD 特点 创建 从内存中创建RDD 从外部存储创建RDD .创建本地文件 .启动spark shell .从本地文件系统中读取 从HDFS创建RDD .在HDFS根目录下创建目录 姓名学号 .上传本地文件到HDFS .进入spark sh ...
2021-10-31 03:48 0 125 推荐指数：
相关推荐
Spark学习之路 （三）Spark之RDD
一、RDD的概述 1.1 什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许 ...
spark学习（RDD案例实战）
练习0（并行化创建RDD） 练习1（map，filter） 练习2（map和flatMap） 练习3（union，intersecttion，distinct） 练习4（sortBy） 练习5（groupByKey,reduceByKey,sortByKey ...
Spark笔记：RDD基本操作（上）
本文主要是讲解spark里RDD的基础操作。RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图，本文暂时不去展开这些高深概念，在阅读本文时候，大家可以就把RDD当作一个数组，这样的理解对我们学习RDD的API是非常有帮助的。本文所有示例代码都是使用 ...
Spark学习之RDD编程总结
Spark 对数据的核心抽象——弹性分布式数据集（Resilient Distributed Dataset，简称 RDD）。RDD 其实就是分布式的元素集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有 RDD 以及调用 RDD 操作进行求值。而在这一切背后，Spark ...
Spark RDD概念学习系列之RDD的容错机制（十七）
RDD的容错机制 RDD实现了基于Lineage的容错机制。RDD的转换关系，构成了compute chain，可以把这个compute chain认为是RDD之间演化的Lineage。在部分计算结果丢失时，只需要根据这个Lineage重算即可。 图1中，假如RDD ...
Spark RDD概念学习系列之如何创建Pair RDD
不多说，直接上干货！ 创建Pair RDD scala语言 Java语言 ...
Spark RDD概念学习系列之RDD的五大特征
不多说，直接上干货！ RDD的五大特征 分区--- partitions 依赖--- dependencies() 计算函数--- computer(p,context) 分区策略(Pair RDD)-- partitioner ...