原文:容错(Fault-tolerance)

Spark Streaming的容错包括了三个地方的容错: Executor失败容错:Executor的失败会重新启动一个新的Executor,这个是Spark自身的特性。如果Receiver所在的Executor失败了,那么Spark Streaming会在另外一个Executor上启动这个Receiver 这个Executor上可能存在已经接收到的数据的备份 Driver失败的容错:如果Dr ...

2019-09-08 20:35 0 743 推荐指数:

查看详情

《Practical Byzantine Fault Tolerance and Proactive Recovery》别人阅读记录

转载于:https://www.cnblogs.com/mafeng/p/8405375.html 摘要部分   这篇论文描述了一种副本复制(replication)算法解决拜占庭容错问题。作者认为拜占庭容错算法将会变得更加重要,因为恶意攻击和软件错误的发生将会越来越多,并且导致失效的节点产生 ...

Sun May 24 18:37:00 CST 2020 0 635
CAP理论中, P(partition tolerance, 分区容错性)的合理解释

在CAP理论中, 对partition tolerance分区容错性的解释一般指的是分布式网络中部分网络不可用时, 系统依然正常对外提供服务, 而传统的系统设计中往往将这个放在最后一位. 这篇文章对这个此进行了分析和重新定义, 并说明了在不同规模分布式系统中的重要性. The ‘CAP ...

Fri Jun 29 20:15:00 CST 2018 0 866
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM