前言 在前兩篇文章 spark shuffle的寫操作之准備工作 中引出了spark shuffle的三種實現，spark shuffle寫操作三部曲之BypassMergeSortShuffleWriter 講述了BypassMergeSortShuffleWriter 用於shuffle寫 ...

提出問題 1. spark shuffle的預聚合操作是如何做的，其中底層的數據結構是什么？在數據寫入到內存中有預聚合，在讀溢出文件合並到最終的文件時是否也有預聚合操作？ 2. shuffle數據的排序是如何做的？ 分區內的數據是否是有序的？若有序，spark 內部是按照什么排序算法來排序 ...

Ceres 翻譯為谷神星，是太陽系中的一顆矮行星，於1801年被意大利神父 Piazzi 首次觀測到，但隨后 Piazzi 因為生病，跟丟了它的運行軌跡。 幾個月后，德國數學家 Ga ...

前言 因工作繁忙，差不多有三個月沒有寫過技術文章了，自八月份第一次編寫 schematics 以來，我一直打算分享關於 schematics 的編寫技巧，無奈還是拖到了年底。 Angular ...

應用運維三部曲，就是告訴你應用運維就該這么干！ 在日常的工作中，應用運維是否覺得自己很苦逼。比如說： 是不是要值夜班？是 是不是要不斷應對需求 ...

ES入門三部曲:索引操作，映射操作，文檔操作 一、索引操作 1.創建索引庫 說明：settings是索引庫的設置，可以定義各種屬性，一般可以不填寫，直接走默認。 2.判斷索引是否存在 3.查看索引 4.打開索引 5.關閉索引 6.刪除索引庫 二、映射操作 ...

需要，寫一次系列文章，包括《架構設計三部曲之如何寫架構設計說明書》、《架構設計三部曲之如何評審架構設計說 ...

2016年8月來到一家新公司，認識了現在的CTO彪哥，也許和很多初出茅廬的程序員一樣，見到技術大神內心膜拜之情溢於言表。我也一樣，想跟着學這學那，不斷總結自己的不足，向彪哥請教。 寫博客的想法就是從彪哥那學的。 第一次寫，也不知道寫些什么，我給自己的定位是：一·自己的學習筆記，方便 ...