大數據開發實戰：Stream SQL實時開發一
SQL抽象層，降低實時開發的門檻。 流計算SQL的原理其實很簡單，就是在SQL和底層的流計算引擎 ...
原文：離線和實時大數據開發實戰
離線和實時大數據開發實戰 目 錄 前言 第一篇 數據大圖和數據平台大圖 第 章 數據大圖 . 數據流程 . . 數據產生 . . 數據采集和傳輸 . . 數據存儲處理 . . 數據應用 . 數據技術 . . 數據采集傳輸主要技術 . . 數據處理主要技術 . . 數據存儲主要技術 . . 數據應用主要技術 . 數據相關從業者和角色 . . 數據平台開發 運維工程師 . . 數據開發 運維工程師 . ...
2019-01-10 18:48 0 1046 推薦指數：
相關推薦
大數據：離線數據開發
從采集系統中收集了大量的原始數據后，數據只有被整合和計算，才能被用於洞察商業規律，挖掘潛在信息，從而實現大數據價值，達到賦能於商業和創造價值的目的； 面對海量的數據和復雜的計算，阿里的數據計算層包括兩大體系：數據存儲及計算平台（離線計算憑他 MaxCompute、實時計算平台 ...
大數據開發實戰：離線大數據處理的主要技術--Hive,概念，SQL，Hive數據庫
1、Hive出現背景 Hive是Facebook開發並貢獻給Hadoop開源社區的。它是建立在Hadoop體系架構上的一層SQL抽象，使得數據相關人員使用他們最為熟悉的SQL語言就可以進行海量數據的處理、分析和統計工作， 而不是必須掌握Java等編程語言和具備開發 ...
公司招聘大數據開發工程師（離線計算、實時計算）
國內某大數據供應商 崗位要求1、本科以上學歷，計算機及相關專業畢業。2、對大數據處理有強烈興趣，掌握至少一種主流開源技術方案，如Hadoop、Spark、Flink、Hbase，ES，kafka等，熟悉開源組件開發、系統調優、高可用等技術。3、具備1-3年以上Java開發經驗，掌握Python ...
大數據開發實戰：數據平台大圖和離線數據平台整體架構
1、數據平台 2、離線數據平台整體架構 參考資料：《離線和實時大數據開發實戰》 ...
大數據實戰手冊-開發篇之spark實戰案例：實時日志分析
2.6 spark實戰案例：實時日志分析 2.6.1 交互流程圖 2.6.2 客戶端監聽器（java） 2.6.3 sparkStream實時數據接收（python） 2.6.4 sparklSQL、RDD結算、結構化搜索 ...
大數據開發實戰：實時數據平台和流計算
1、實時數據平台整體架構 實時數據平台的支撐技術主要包含四個方面：實時數據采集（如Flume）,消息中間件（如Kafka）, 流計算框架（如Storm, Spark, Flink和Beam），以及數據實時存儲（如列族存儲的HBase） 實時數據平台最為核心的技術 ...
SparkStreaming實時流式大數據處理實戰總結
總結《SparkStreaming實時流式大數據處理實戰》 一、初始spark 1. 初始sparkstreaming 1.1 大數據處理模式 1. 一種是原生流處理（Native）的方式，即所有輸入記錄會一條接一條地被處理，storm 和 flink 2. 另一種是微批處理（Batch ...