【原创】大数据基础之Spark（8）Spark中Join实现原理
spark中join有两种，一种是RDD的join，一种是sql中的join，分别来看： 1 RDD join org.apache.spark.rdd.PairRDDFunctions join操作会返回CoGroupedRDD，CoGroupedRDD构造参数为rdd ...
原文：【原创】大数据基础之SPARK（9）SPARK中COLLECT和TAKE实现原理
spark中要将计算结果取回driver，有两种方式：collect和take，这两种方式有什么差别 来看代码： org.apache.spark.rdd.RDD 可见collect是直接计算所有结果，然后将每个partition的结果变成array，然后再合并成一个array 而take的实现就要复杂一些，它会首先计算 个partition，然后根据结果的数量推断出还需要计算几个分区，然后再计算 ...
2018-12-21 14:56 0 1212 推荐指数：
相关推荐
【原创】大数据基础之Spark（3）Spark Thrift实现原理及代码实现
spark 2.1.1 一 启动命令 启动spark thrift命令 $SPARK_HOME/sbin/start-thriftserver.sh 然后会执行 org.apache.spark.deploy.SparkSubmit --class ...
【原创】大数据基础之Spark（5）Shuffle实现原理及代码解析
一 简介 Shuffle，简而言之，就是对数据进行重新分区，其中会涉及大量的网络io和磁盘io，为什么需要shuffle，以词频统计reduceByKey过程为例， serverA：partition1: (hello, 1), (word, 1)serverB：partition2 ...
【原创】大数据基础之Hive（5）hive on spark
hive 2.3.4 on spark 2.4.0 Hive on Spark provides Hive with the ability to utilize Apache Spark as its execution engine. set ...
【原创】大数据基础之Kudu（4）spark读写kudu
spark2.4.3+kudu1.9 1 批量读 2 批量写 3 单个读/条件读 4 单个写 其他：newInsert/newUpdate/newDelete/newUpsert 5 错误定位 如果apply之后发现修改 ...
大数据--Spark原理
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： 1.运行 ...
【原创】大数据基础之Spark（1）Spark Submit即Spark任务提交过程
Spark2.1.1 一 Spark Submit本地解析 1.1 现象 提交命令： spark-submit --master local[10] --driver-memory 30g --class app.package.AppClass app-1.0.jar 进程 ...
【原创】大数据基础之Spark（2）Spark on Yarn：container memory allocation容器内存分配
spark 2.1.1 最近spark任务（spark on yarn）有一个报错 Diagnostics: Container [pid=5901,containerID=container_1542879939729_30802_01_000001] is running ...