離線和實時大數據開發實戰
離線和實時大數據開發實戰 目 錄 前言 第一篇 數據大圖和數據平台大圖 第1章 數據大圖 2 1.1 數據流程 2 1.1.1 數據產生 3 1.1.2 數據采集和傳輸 5 1.1.3 數據存儲處理 6 1.1.4 數據應用 7 1.2 數據技術 8 1.2.1 數據采集傳輸 ...
原文：大數據開發實戰：Stream SQL實時開發一
流計算SQL原理和架構 流計算SQL通常是一個類SQL的聲明式語言，主要用於對流式數據 Streams 的持續性查詢，目的是在常見流計算平台和框架 如Storm Spark Streaming Flink Beam等 的底層API上， 通過使用簡易通用的的SQL語言構建SQL抽象層，降低實時開發的門檻。 流計算SQL的原理其實很簡單，就是在SQL和底層的流計算引擎之間架起一座橋梁 流計算SQL被 ...
2018-09-05 11:22 0 3820 推薦指數：
相關推薦
大數據實戰手冊-開發篇之spark實戰案例：實時日志分析
2.6 spark實戰案例：實時日志分析 2.6.1 交互流程圖 2.6.2 客戶端監聽器（java） 2.6.3 sparkStream實時數據接收（python） 2.6.4 sparklSQL、RDD結算、結構化搜索 ...
大數據開發實戰：實時數據平台和流計算
1、實時數據平台整體架構 實時數據平台的支撐技術主要包含四個方面：實時數據采集（如Flume）,消息中間件（如Kafka）, 流計算框架（如Storm, Spark, Flink和Beam），以及數據實時存儲（如列族存儲的HBase） 實時數據平台最為核心的技術 ...
大數據開發實戰：離線大數據處理的主要技術--Hive,概念，SQL，Hive數據庫
1、Hive出現背景 Hive是Facebook開發並貢獻給Hadoop開源社區的。它是建立在Hadoop體系架構上的一層SQL抽象，使得數據相關人員使用他們最為熟悉的SQL語言就可以進行海量數據的處理、分析和統計工作， 而不是必須掌握Java等編程語言和具備開發 ...
大數據開發實戰：Storm流計算開發
Storm是一個分布式、高容錯、高可靠性的實時計算系統，它對於實時計算的意義相當於Hadoop對於批處理的意義。Hadoop提供了Map和Reduce原語。同樣，Storm也對數據的實時處理提供了簡單的 spout和bolt原語。Storm集群表面上看和Hadoop集群 ...
大數據開發實戰：Spark Streaming流計算開發
1、背景介紹 Storm以及離線數據平台的MapReduce和Hive構成了Hadoop生態對實時和離線數據處理的一套完整處理解決方案。除了此套解決方案之外，還有一種非常流行的而且完整的離線和 實時數據處理方案。這種方案就是Spark。Spark本質上是對Hadoop ...
拼多多大數據開發工程師SQL實戰解析
不久前，裸考國內知名電商平台拼多多的大數據崗位在線筆試，問答題（寫SQL）被虐的很慘，完了下來默默學習一波。順便借此機會復習一下SQL語句的用法。 本文主要涉及到的SQL知識點包括CREATE創建數據庫和表、INSERT插入數據、SUM()求和、GROUP BY分組、DATE_FORMAT ...
大數據開發實戰：數據倉庫技術
1、OLTP和OLAP OLTP的全稱是 Online Transaction Processing, OLTP主要用傳統的關系型數據庫來進行事務處理。OLTP最核心的需求是單條記錄的高效快速處理，索引技術、 分庫分表等最根本的訴求就是解決此問題 ...