本文主要簡述spark checkpoint機制，快速把握checkpoint機制的來龍去脈,至於源碼可以參考我的下一篇文章。 1、Spark core的checkpoint 1）為什么checkpoint？ 分布式計算中難免因為網絡，存儲等原因出現計算失敗的情況，RDD中的lineage ...

一、應用執行機制 一個應用的生命周期即，用戶提交自定義的作業之后，Spark框架進行處理的一系列過程。 在這個過程中，不同的時間段里，應用會被拆分為不同的形態來執行。 1、應用執行過程中的基本組件和形態 Driver： 運行在客戶端或者集群中，執行Application ...

Spark工作流程由4個主體聯系構成（如上圖所示）： Application：指用戶編寫的Spark應用程序，其中包括一個Driver功能的代碼和分布在集群中多個節點上運行的Executor代碼 Master：主節點，布置作業 Block ...

Spark工作機制以及API詳解 本篇文章將會承接上篇關於如何部署Spark分布式集群的博客，會先對RDD編程中常見的API進行一個整理，接着再結合源代碼以及注釋詳細地解讀spark的作業提交流程，調度機制以及shuffle的過程，廢話不多說，我們直接開始吧！ 1. Spark基本API解讀 ...

一，什么是反射 1.1，反射：所謂框架的靈魂 ​ 框架：半成品軟件，可以在框架的基礎上進行軟件開發，簡化代碼。 ​ 反射：將類的各個組成部分封裝為其他對象，反射機制。 ​ 簡單來說反射就是在程序運行期間，動態的獲取類或者對象中的屬性。 ​ 什么是動態獲取。 ​ 反射的原理就是通過類 ...

LR的工作原理是通過用戶執行被測程序的客戶端，在VuGen中錄制被測系統的客戶端和服務器的協議交互，生成腳本，然后在Controller中控制Load Generator，按照一定的配置（又稱為場景），模擬一定數量的用戶，對服務器產生壓力，同時對被測系統涉及的操作系統，數據庫，中間件等資源進行監控 ...

1.Keepalived 定義 Keepalived 是一個基於VRRP協議來實現的LVS服務高可用方案，可以利用其來避免單點故障。一個LVS服務會有2台服務器運行Keepalived，一台為主服務 ...

1 BPDU保護 在STP中，如果網橋連接的終端設備，會將連接該終端設備的端口設置為邊緣端口以實現這些端口的快速遷移。正常情況下，邊緣端口不會收到BPDU，但如果有人偽造BPDU發送給交 ...