一.简介 　　流应用程序必须保证7*24全天候运行，因此必须能够适应与程序逻辑无关的故障【例如：系统故障、JVM崩溃等】。为了实现这一点，SparkStreaming需要将足够的信息保存到容错存储系统中，以便它可以从故障中恢复。 　　检查点有两种类型。 　　　　1.元数据检查点 ...

sparkstreaming关于偏移量的管理 在 Direct DStream初始化的时候，需要指定一个包含每个topic的每个分区的offset用于让Direct DStream从指定位置读取数据。 offsets就是步骤4中所保存的offsets位置 ...

Ⅰ、Checkpoint 1.1 checkpoint的作用 缩短数据库的恢复时间 缓冲池不够用时,将脏页刷到磁盘 重做日志不可用时,刷新脏页 1.2 展开分析 page被缓存在bp中,page在bp中和disk中不是时刻保持一致的(page修改一下就刷一次盘是不现实 ...

的发展的话，就请听我慢慢介绍以下的东西。 二、KCF的弊端 说道KCF的缺点的话作者在文章 ...

promise的弊端 promise彻底解决了callback hell，但也存在以下一些问题 延时问题(涉及到evnet loop)(http://www.ruanyifeng.com/blog/2014/10/event-loop.html ...

cookie虽然在持久保存客户端数据提供了方便，分担了服务器存储的负担，但还是有很多局限性的。第一：每个特定的域名下最多生成20个cookie 1.IE6或更低版本最多20个cookie 2.IE7 ...

简介 Kafka 0.10的Spark Streaming集成设计与0.8 Direct Stream方法类似。 它提供了简单的并行性，Kafka分区和Spark分区之间的1：1对应关系，以及对偏移 ...

Checkpoint checkpoint是Flink容错的核心机制。它可以定期的将各个Operator处理的数据进行快照存储（Snapshot）。 如果Flink程序出现宕机，可以重新从这些快照中恢复数据。 Flink容错机制的核心就是持续创建分布式数据流及其状态的一致快照 ...