一、流式計算的背景在日常生活中，我們通常會先把數據存儲在一張表中，然后再進行加工、分析，這里就涉及到一個時效性的問題。如果我們處理以年、月為單位的級別的數據，那么多數據的實時性要求並不高；但如果我們處理的是以天、小時，甚至分鍾為單位的數據，那么對數據的時效性要求就比較高。在第二種場景下 ...

Structured Streaming A stream is converted into a dynamic table. A continuous query is evalu ...

1. 簡介 是一個分布式, 高容錯的 實時計算框架 Storm進程常駐內存, 永久運行 Storm數據不經過磁盤, 在內存中流轉, 通過網絡直接發送給下游 流式處理(streaming) 與 批處理(batch) 批處理(batch ...

實時流式計算，也就是RealTime,Streaming,Analyse,在不同的領域有不同的定義,這里我們說的是大數據領域的實時流式計算。 實時流式計算,或者是實時計算,流式計算,在大數據領域都是差不多的概念。那么，到底什么是實時流式計算呢？ 谷歌大神Tyler Akidau ...

一、靜態數據和流數據 靜態數據：為了支持決策分析而構建的數據倉庫系統，其中存放的大量歷史數據就是靜態數據。 流數據：以大量、快速、時變的流形式持續到達的數據。（例如：實時產生的日志、用戶實時交易信 ...

前面說了Java8的流，這里還說流處理，既然是流，比如水流車流，肯定得有流的源頭，源可以有多種，可以自建，也可以從應用端獲取， 今天就拿非常經典的Kafka做源頭來說事，比如要來一套應用日志實時分析 ...

前言 對於流式計算（streaming）而言，窗口是一個永遠繞不開的話題，最常見的需求，比如計算某個字段最近一小時的累積量，計算某個字段一天的出現的次數等。本篇文章針對流式計算的窗口模型（window model）進行深入解析。需要注意的是，本篇文章內容沒有考慮容錯問題，也就是默認本地內存 ...

01_流式計算基礎_第1天（Storm是什么、Storm核心組件、Storm編程模型） 課程介紹 課程名稱：Storm是什么 課程目標： 通過該課程的學習能夠了解離線計算與流式計算的區別、掌握Storm框架的基礎知識、了解流式計算的一般架構圖。 課程大綱： 1、 離線 ...