Checkpoint checkpoint是Flink容错的核心机制。它可以定期的将各个Operator处理的数据进行快照存储（Snapshot）。 如果Flink程序出现宕机，可以重新从这些快照中恢复数据。 Flink容错机制的核心就是持续创建分布式数据流及其状态的一致快照 ...

checkpoint一种用时间换空间的策略 torch.utils.checkpoint.checkpoint(function, *args, **kwargs) 为模型或模型的一部分设置Checkpoint 。 检查点用计算换内存（节省内存）。 检查点部分并不保存中间激活值 ...

Flink在流上最大的特点，就是引入全局snapshot， CheckpointCoordinator 做snapshot的核心组件为， CheckpointCoordinator ...

上一章的结尾我们留下了一个问题，就是在上一章所介绍的模型中，恢复管理器必须要通过全篇扫描整个undolog进行日志恢复，这样做显然是没有太大必要的，因为系统中断肯定是在最后几个事务受到影响，前面的事务 ...

先看看pg都有哪些后端进程 可以看到PostgreSQL后端是由称为Postmaster（postgres）的主进程派生出来的进程的集合。 checkpoint的作用 checkpointer进程称为检查点进程，checkpoint操作会将某个时间点之前的脏数据都刷新到磁盘 ...

源码解释 Spark 中对于数据的保存除了持久化操作之外，还提供了一种检查点的机制，检查点（本质是通过将RDD写入Disk做检查点）是为了通过 Lineage 做容错的辅助 ...

问题：cache 与 checkpoint 的区别？ 关于这个问题，Tathagata Das 有一段回答: There is a significant difference between cache and checkpoint. Cache materializes the RDD ...

checkpoint在spark中主要有两块应用：一块是在spark core中对RDD做checkpoint，可以切断做checkpoint RDD的依赖关系，将RDD数据保存到可靠存储（如HDFS）以便数据恢复；另外一块是应用在spark streaming中，使用checkpoint用来保存 ...