关于Spark中RDD的设计的一些分析
RDD, Resilient Distributed Dataset，弹性分布式数据集， 是Spark的核心概念。 对于RDD的原理性的知识，可以参阅Resilient Distributed Datasets: A Fault-Tolerant Abstraction ...
原文：spark 教程二 spark中的一些术语和概念
.Application:基于spark的用户程序，包含了一个driver program 和集群中多个 executor .Driver Program:运行application的main 函数并自动创建SparkContext。通常SparkContext 代表driver program .Executor:为某个Application运行在worker node 上的一个进程。该进程负 ...
2017-07-07 16:45 0 1231 推荐指数：
相关推荐
distribute by在spark中的一些应用
一.在二次排序当中的应用 1.1 说到排序当然第一想到的就是sort by和order by这两者的区别，也分情况。 在算子当中，两者没有区别，orderby()调用的也是sort。order by就是sort的别名。 在spark sql语句中，则关系到是否全局排序。 https ...
spark-Job，stage，Task等一些基本概念
Spark 将任务以 shuffle 依赖(宽依赖)为边界打散，划分多个 Stage. 最后的结果阶段叫做 ResultStage, 其它阶段叫 ShuffleMapStage. 1.从后往前推理，遇到宽依赖就断开，遇到窄依赖就把当前RDD加入到该Stage 2.每个 ...
树的一些基本概念术语
是不相交的；除了根结点外，每个结点有且仅有一个父结点；一棵N个结点的树有N-1条边。 一、树的一些基本术 ...
在 Spark 数据导入中的一些实践细节
1.前言 图谱业务随着时间的推移愈发的复杂化，逐渐体现出了性能上的瓶颈：单机不足以支持更大的图谱。然而，从性能上来看，Neo4j 的原生图存储有着不可替代的性能优势，这一点是之前调研的 Ja ...
[note] 一些音乐相关的英文术语/概念
最近从零开始研究音乐x深度学习方面，看论文遇到不少名词，特此记录 并非音乐专业，部分词汇依赖上下文推断感悟，以?标出，不保证信达雅，仅供理解 1 dynamics 力度 score 乐谱 staf ...
Spark记录-SparkSQL一些操作
scala>val spark=new org.apache.spark.sql.SQLContext(sc) user.json {"age":"45","gender":"M","occupation":"7","userID":"4","zipcode":"02460"}{"age ...
Spark DataSet 、DataFrame 一些使用示例
以前使用过DS和DF，最近使用Spark ML跑实验，再次用到简单复习一下。 1：DS与DF关系？ 2：加载txt数据 这种直接生成DF，df数据结构为（查询语句：df.select("*").show(5)）： 只有一列 ...