Spark Streaming源碼分析 – DStream
A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous sequence of RDDs (of the same type) representing ...
原文：Spark Streaming Backpressure分析
為什么引入Backpressure 默認情況下，Spark Streaming通過Receiver以生產者生產數據的速率接收數據，計算過程中會出現batch processing time gt batch interval的情況，其中batch processing time 為實際計算一個批次花費時間， batch interval為Streaming應用設置的批處理間隔。這意味着Spark ...
2016-04-03 15:39 1 5434 推薦指數：
相關推薦
Spark Streaming源碼分析 – Checkpoint
PersistenceStreaming沒有做特別的事情，DStream最終還是以其中的每個RDD作為job進行調度的，所以persistence就以RDD為單位按照原先Spark的方式去做就可以了，不同的是Streaming是無限，需要考慮Clear的問題在clearMetadata時，在刪除 ...
Spark Streaming源碼分析 – InputDStream
對於NetworkInputDStream而言，其實不是真正的流方式，將數據讀出來后不是直接去處理，而是先寫到blocks中，后面的RDD再從blocks中讀取數據繼續處理這就是一個將stream離散 ...
spark-streaming-kafka-0-10源碼分析
轉發請注明原創地址http://www.cnblogs.com/dongxiao-yang/p/7767621.html 本文所研究的spark-streaming代碼版本為2.3.0-SNAPSHOT spark-streaming為了匹配0.10以后版本的kafka客戶端變化推出 ...
spark streaming (二)
一、基礎核心概念 1、StreamingContext詳解 （一） 有兩種創建StreamingContext的方式： val conf ...
flink spark storm的反壓機制（backpressure）
簡單介紹下flink、spark和storm的backpressure機制。 1、storm 反壓 實現原理 Storm 是通過監控 Bolt 中的接收隊列負載情況來實現反壓： 如果一個executor發現recv queue負載超過高水位值（high watermark）就會通知反 ...
Apache 流框架 Flink，Spark Streaming，Storm對比分析（一）
本文由 網易雲 發布。 1.Flink架構及特性分析 Flink是個相當早的項目，開始於2008年，但只在最近才得到注意。Flink是原生的流處理系統，提供high level的API。Flink也提供 API來像Spark一樣進行批處理，但兩者處理的基礎是完全不同的。Flink ...
Apache 流框架 Flink，Spark Streaming，Storm對比分析（二）
本文由 網易雲 發布。 本文內容接上一篇Apache 流框架 Flink，Spark Streaming，Storm對比分析（一） 2.Spark Streaming架構及特性分析 2.1 基本架構 基於是spark core的spark streaming架構 ...