提出问题 1. spark shuffle的预聚合操作是如何做的，其中底层的数据结构是什么？在数据写入到内存中有预聚合，在读溢出文件合并到最终的文件时是否也有预聚合操作？ 2. shuffle数据的排序是如何做的？ 分区内的数据是否是有序的？若有序，spark 内部是按照什么排序算法来排序 ...

前言 再上一篇文章 spark shuffle的写操作之准备工作 中，主要介绍了 spark shuffle的准备工作，本篇文章主要介绍spark shuffle使用BypassMergeSortShuffleWriter写数据详细细节。 在本篇文章中如果有不了解的术语，也可以参照 spark ...

前言 因工作繁忙，差不多有三个月没有写过技术文章了，自八月份第一次编写 schematics 以来，我一直打算分享关于 schematics 的编写技巧，无奈还是拖到了年底。 Angular ...

应用运维三部曲，就是告诉你应用运维就该这么干！ 在日常的工作中，应用运维是否觉得自己很苦逼。比如说： 是不是要值夜班？是 是不是要不断应对需求 ...

Ceres 翻译为谷神星，是太阳系中的一颗矮行星，于1801年被意大利神父 Piazzi 首次观测到，但随后 Piazzi 因为生病，跟丢了它的运行轨迹。 几个月后，德国数学家 Ga ...

需要，写一次系列文章，包括《架构设计三部曲之如何写架构设计说明书》、《架构设计三部曲之如何评审架构设计说 ...

ES入门三部曲:索引操作，映射操作，文档操作 一、索引操作 1.创建索引库 说明：settings是索引库的设置，可以定义各种属性，一般可以不填写，直接走默认。 2.判断索引是否存在 3.查看索引 4.打开索引 5.关闭索引 6.删除索引库 二、映射操作 ...

前面已经介绍过了它的祖先Date和父亲Calendar，今天就来认识一下GregorianCalendar。在java1.0版本的时候Date还是很强大的，但是java类库的设计者认为保存时 ...