大數據——如何設計實時數據平台（設計篇）
導讀：本文將會分上下兩篇對一個重要且常見的大數據基礎設施平台展開討論，即“實時數據平台”。 在上篇設計篇中，我們首先從兩個維度介紹實時數據平台：從現代數倉架構角度看待實時數據平台，從典型數據處理角度看待實時數據處理；接着我們會探討實時數據平台整體設計架構、對具體問題的考量以及解決思路。 在下篇技術 ...
原文：大數據開發實戰：實時數據平台和流計算
實時數據平台整體架構 實時數據平台的支撐技術主要包含四個方面：實時數據采集 如Flume ,消息中間件 如Kafka , 流計算框架 如Storm, Spark, Flink和Beam ，以及數據實時存儲 如列族存儲的HBase 實時數據平台最為核心的技術是流計算。 流計算 流計算的典型特征： 無邊界：流計算的數據源頭是源源不斷的，就像河水一樣不停第流過來，相應地，流計算任務也需要始終運行。 觸 ...
2018-08-07 15:53 0 7308 推薦指數：
相關推薦
大數據開發實戰：Storm流計算開發
Storm是一個分布式、高容錯、高可靠性的實時計算系統，它對於實時計算的意義相當於Hadoop對於批處理的意義。Hadoop提供了Map和Reduce原語。同樣，Storm也對數據的實時處理提供了簡單的 spout和bolt原語。Storm集群表面上看和Hadoop集群 ...
大數據開發實戰：Spark Streaming流計算開發
1、背景介紹 Storm以及離線數據平台的MapReduce和Hive構成了Hadoop生態對實時和離線數據處理的一套完整處理解決方案。除了此套解決方案之外，還有一種非常流行的而且完整的離線和 實時數據處理方案。這種方案就是Spark。Spark本質上是對Hadoop ...
離線和實時大數據開發實戰
離線和實時大數據開發實戰 目 錄 前言 第一篇 數據大圖和數據平台大圖 第1章 數據大圖 2 1.1 數據流程 2 1.1.1 數據產生 3 1.1.2 數據采集和傳輸 5 1.1.3 數據存儲處理 6 1.1.4 數據應用 7 1.2 數據技術 8 1.2.1 數據采集傳輸 ...
Netflix-mantis 實時數據流開發平台
mantis 是netflix 開源的已經在netflix 使用了多年的實時流處理平台，目前從官方文檔的介紹，在netflix使用場景很多 使用場景 上下文報警 監控netflix 的微服務 異常追蹤 方便sre 分析問題 cassandra 以及elastic search ...
大數據開發實戰：Stream SQL實時開發一
1、流計算SQL原理和架構 流計算SQL通常是一個類SQL的聲明式語言，主要用於對流式數據(Streams)的持續性查詢，目的是在常見流計算平台和框架（如Storm、Spark Streaming、Flink、Beam等）的底層API上， 通過使用簡易通用的的SQL語言構建 ...
項目實戰 從 0 到 1 學習之 Flink（8）大數據之Hudi + Kylin的准實時數倉實現
和 Kyligence 解決方案工程師劉永恆就 Hudi + Kylin 的准實時數倉實現進行了介紹與演示。下文是 ...