1.分区列表（a list of partitions）。Spark RDD是被分区的，每一个分区都会被一个计算任务（Task）处理，分区数决定并行计算数量，RDD的并行度默认从父RDD传给子RDD。默认情况下，一个HDFS上的数据分片就是一个Partition，RDD分片数决定了并行计算的力度 ...

　　RDD是分布式内存的一个抽象概念，是一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，能横跨集群所有节点并行计算，是一种基于工作集的应用抽象。 　　RDD底层存储原理：其数据分布存储于多台机器上，事实上，每个RDD的数据都以Block的形式存储于多台机器上，每个Executor ...

1.RDD的官网定义 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable，partitioned collection of elements ...

　　RDD作为弹性分布式数据集，它的弹性具体体现在以下七个方面。 1．自动进行内存和磁盘数据存储的切换 　　Spark会优先把数据放到内存中，如果内存实在放不下，会放到磁盘里面，不但能计算内存放下的数据，也能计算内存放不下的数据。如果实际数据大于内存，则要考虑数据放置策略和优化算法。当应 ...

　　不多说，直接上干货！ RDD的五大特征 　　分区--- partitions 　　依赖--- dependencies() 　　计算函数--- computer(p,context) 　　分区策略(Pair RDD)-- partitioner ...

1.数据库的三大特性 　'实体':表 　'属性'：表中的数据(字段) 　'关系'：表与表之间的关系 2.数据库设计三大范式 　　a：确保每列保持原子性（即数据库表中的所有字段值是不可分解的原子值） 　　b：确保表中的每列都是和主键相关（表中只能保存一种数据，不可以把多种数据保存在同一 ...

RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。 RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习 ...

转载自：http://www.tuicool.com/articles/7VNfyif 王联辉，曾在腾讯，Intel 等公司从事大数据相关的工作。2013 年 - 2016 年先后负责腾讯 Yarn ...