Spark Streaming源碼分析 – DStream
A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous sequence of RDDs (of the same type) representing ...
原文：Spark Streaming源碼分析 – InputDStream
對於NetworkInputDStream而言，其實不是真正的流方式，將數據讀出來后不是直接去處理，而是先寫到blocks中，后面的RDD再從blocks中讀取數據繼續處理這就是一個將stream離散化的過程NetworkInputDStream就是封裝了將數據從source中讀出來，然后放到blocks里面去的邏輯 Receiver線程 還需要一個可以管理NetworkInputDStream， ...
2014-03-07 18:08 4 1796 推薦指數：
相關推薦
Spark Streaming源碼分析 – Checkpoint
PersistenceStreaming沒有做特別的事情，DStream最終還是以其中的每個RDD作為job進行調度的，所以persistence就以RDD為單位按照原先Spark的方式去做就可以了，不同的是Streaming是無限，需要考慮Clear的問題在clearMetadata時，在刪除 ...
spark-streaming-kafka-0-10源碼分析
轉發請注明原創地址http://www.cnblogs.com/dongxiao-yang/p/7767621.html 本文所研究的spark-streaming代碼版本為2.3.0-SNAPSHOT spark-streaming為了匹配0.10以后版本的kafka客戶端變化推出 ...
Spark Streaming Backpressure分析
1、為什么引入Backpressure 默認情況下，Spark Streaming通過Receiver以生產者生產數據的速率接收數據，計算過程中會出現batch processing time > batch interval的情況，其中batch ...
10.Spark Streaming源碼分析:Receiver數據接收全過程詳解
原創文章，轉載請注明: 轉載自 聽風居士博客( http://www.cnblogs.com/zhouyf/) 在上一篇中介紹了Receiver的整體架構和設計原理，本篇內容 ...
Spark Streaming updateStateByKey和mapWithState源碼解密
本篇從二個方面進行源碼分析： 一、updateStateByKey解密 二、mapWithState解密 通過對Spark研究角度來研究jvm、分布式、圖計算、架構設計、軟件工程思想，可以學到很多東西。 進行黑名單動態生成和過濾例子中會用到updateStateByKey方法，此方法 ...
Spark Streaming運行流程及源碼解析（一）
本系列主要描述Spark Streaming的運行流程，然后對每個流程的源碼分別進行解析 之前總聽同事說Spark源碼有多么棒，咱也不知道，就是瘋狂點頭。今天也來擼一下Spark源碼。 對Spark的使用也就是Spark Streaming使用的多一點，所以就拿Spark ...
spark streaming (二)
一、基礎核心概念 1、StreamingContext詳解 （一） 有兩種創建StreamingContext的方式： val conf ...