本文主要简述spark checkpoint机制，快速把握checkpoint机制的来龙去脉,至于源码可以参考我的下一篇文章。 1、Spark core的checkpoint 1）为什么checkpoint？ 分布式计算中难免因为网络，存储等原因出现计算失败的情况，RDD中的lineage ...

一、应用执行机制 一个应用的生命周期即，用户提交自定义的作业之后，Spark框架进行处理的一系列过程。 在这个过程中，不同的时间段里，应用会被拆分为不同的形态来执行。 1、应用执行过程中的基本组件和形态 Driver： 运行在客户端或者集群中，执行Application ...

Spark工作流程由4个主体联系构成（如上图所示）： Application：指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码 Master：主节点，布置作业 Block ...

Spark工作机制以及API详解 本篇文章将会承接上篇关于如何部署Spark分布式集群的博客，会先对RDD编程中常见的API进行一个整理，接着再结合源代码以及注释详细地解读spark的作业提交流程，调度机制以及shuffle的过程，废话不多说，我们直接开始吧！ 1. Spark基本API解读 ...

一，什么是反射 1.1，反射：所谓框架的灵魂 ​ 框架：半成品软件，可以在框架的基础上进行软件开发，简化代码。 ​ 反射：将类的各个组成部分封装为其他对象，反射机制。 ​ 简单来说反射就是在程序运行期间，动态的获取类或者对象中的属性。 ​ 什么是动态获取。 ​ 反射的原理就是通过类 ...

LR的工作原理是通过用户执行被测程序的客户端，在VuGen中录制被测系统的客户端和服务器的协议交互，生成脚本，然后在Controller中控制Load Generator，按照一定的配置（又称为场景），模拟一定数量的用户，对服务器产生压力，同时对被测系统涉及的操作系统，数据库，中间件等资源进行监控 ...

1.Keepalived 定义 Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务 ...

1 BPDU保护 在STP中，如果网桥连接的终端设备，会将连接该终端设备的端口设置为边缘端口以实现这些端口的快速迁移。正常情况下，边缘端口不会收到BPDU，但如果有人伪造BPDU发送给交 ...