一.簡介 　　流應用程序必須保證7*24全天候運行，因此必須能夠適應與程序邏輯無關的故障【例如：系統故障、JVM崩潰等】。為了實現這一點，SparkStreaming需要將足夠的信息保存到容錯存儲系統中，以便它可以從故障中恢復。 　　檢查點有兩種類型。 　　　　1.元數據檢查點 ...

sparkstreaming關於偏移量的管理 在 Direct DStream初始化的時候，需要指定一個包含每個topic的每個分區的offset用於讓Direct DStream從指定位置讀取數據。 offsets就是步驟4中所保存的offsets位置 ...

Ⅰ、Checkpoint 1.1 checkpoint的作用 縮短數據庫的恢復時間 緩沖池不夠用時,將臟頁刷到磁盤 重做日志不可用時,刷新臟頁 1.2 展開分析 page被緩存在bp中,page在bp中和disk中不是時刻保持一致的(page修改一下就刷一次盤是不現實 ...

的發展的話，就請聽我慢慢介紹以下的東西。 二、KCF的弊端 說道KCF的缺點的話作者在文章 ...

promise的弊端 promise徹底解決了callback hell，但也存在以下一些問題 延時問題(涉及到evnet loop)(http://www.ruanyifeng.com/blog/2014/10/event-loop.html ...

cookie雖然在持久保存客戶端數據提供了方便，分擔了服務器存儲的負擔，但還是有很多局限性的。第一：每個特定的域名下最多生成20個cookie 1.IE6或更低版本最多20個cookie 2.IE7 ...

簡介 Kafka 0.10的Spark Streaming集成設計與0.8 Direct Stream方法類似。 它提供了簡單的並行性，Kafka分區和Spark分區之間的1：1對應關系，以及對偏移 ...

Checkpoint checkpoint是Flink容錯的核心機制。它可以定期的將各個Operator處理的數據進行快照存儲（Snapshot）。 如果Flink程序出現宕機，可以重新從這些快照中恢復數據。 Flink容錯機制的核心就是持續創建分布式數據流及其狀態的一致快照 ...