spark内存管理这一篇就够了
1. 堆内和堆外内存规划 1.1 堆内内存 堆内内存的大小，由 Spark 应用程序启动时的 –executor-memory 或 spark.executor.memory 参数配置。Executor 内运行的并发任务共享 JVM 堆内内存，这些任务在缓存 RDD 数据和广播 ...
原文：Spark架构与原理这一篇就够了
一 基本介绍 是什么 快速，通用，可扩展的分布式计算引擎。 弹性分布式数据集RDD RDD Resilient Distributed Dataset 弹性分布式数据集，是Spark中最基本的数据 逻辑 抽象，它代表一个不可变 可分区 里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错 位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够 ...
2020-11-11 20:01 0 995 推荐指数：
相关推荐
spark中的pair rdd，看这一篇就够了
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是spark专题的第四篇文章，我们一起来看下Pair RDD。 定义 在之前的文章当中，我们已经熟悉了RDD的相关概念，也了解了RDD基本的转化操作和行动操作。今天我们来看一下RDD当中非常常见的PairRDD ...
搞懂Mysql索引原理及应用，这一篇就够了！
什么是索引？ 索引是对数据库表中一列或多列的值进行排序的一种数据结构，使用索引可以快速访问数据库表中的特定信息。 我们创建索引的时候是这样的： 可以这样想：索引是取出了一列或者几个特殊的列， ...
(转)学习MySQL优化原理，这一篇就够了！
原文：https://mp.weixin.qq.com/s__biz=MzI4NTA1MDEwNg==&mid=2650763421&idx=1&sn=2515421f09c1 ...
Linux？这一篇就够了
笔者整理了一共 3万余字，分别从 Linux概述、磁盘、目录、文件、安全、语法级、实战、文件管理命令、文档编辑命令、磁盘管理命令、网络通讯命令、系统管理命令、备份压缩命令等方面拆解 Linux 知识点 ...
Flask 简单使用,这一篇就够了!
1.1Flask启动 1.2 Response return "字符串" -->httpresponse return render_template('html文件' ...
搞懂HashMap,这一篇就够了
弄懂HashMap，这一篇就够了 如果你点开了这篇博客，请一定要读完，可能会花费你20分钟，因为它真的可以帮助你了解到hashmap的底层实现以及使用hashmap的注意事项，声明：这篇博文是摘抄至国外的一个大牛的博客，地址在博文底端。 大多数JAVA开发人员都在使用Maps，尤其是 ...
Gin？有这一篇就够了！
Gin Gin是Golang的一个后端框架，封装比较优雅，API友好。 1、hello word 2、路由 2.1、基本路由 gin 框架中采用的路由库是基于httprouter做的 ...