離線實時一體化數倉與湖倉一體—雲原生大數據平台的持續演進
、機器學習PAI平台技術負責人 本篇內容將從三個部分為讀者講述離線實時一體化數倉與湖倉一體—雲原生大數據平 ...
原文：實時離線一體大數據在資產租賃saas服務中使用
流水查詢需求 需求第一期： 基於TB級的在線數據，支持繳費帳單明細在線查詢。大家都知道，像銀行帳單流水一樣，查幾年的流水是常有的事。 支持的維度查詢：帳期 欠費狀態 日期范圍 費用科目類型 房屋分類 房屋所屬項目 關聯合同信息 統計列 什么是實時數據 實時可以分為：實時采集 實時計算 高性能，底延時的產出結果數據。實時數據指從源系統中實時采集的數據，以及對實時采集的數據進行實時計算直接產生的中間數 ...
2020-10-18 16:38 0 724 推薦指數：
相關推薦
數倉架構的持續演進與發展 — 雲原生、湖倉一體、離線實時一體、SaaS模式
簡介： 數據倉庫概念從1990年提出，經過了四個主要階段。從最初的數據庫演進到數據倉庫，到MPP架構，到大數據時代的數據倉庫，再到今天的雲原生的數據倉庫。在不斷的演進過程中，數據倉庫面臨着不同的挑戰。 作者 ...
離線和實時大數據開發實戰
離線和實時大數據開發實戰 目 錄 前言 第一篇 數據大圖和數據平台大圖 第1章 數據大圖 2 1.1 數據流程 2 1.1.1 數據產生 3 1.1.2 數據采集和傳輸 5 1.1.3 數據存儲處理 6 1.1.4 數據應用 7 1.2 數據技術 8 1.2.1 數據采集傳輸 ...
融合趨勢下基於 Flink Kylin Hudi 湖倉一體的大數據生態體系
簡介： 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin 和 Hudi 湖倉一體的大數據生態體系以及在 T3 的相關應用場景。 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin ...
大數據：實時技術
一、簡介 一般業務訴求：在第一時間拿到經過加工后的數據，以便實時監控當前業務狀態並作出運營決策，引導業務往好的方向發展。 按照數據的延時情況，數據時效性一般分為三種（離線、准實時、實時）： 離線：在今天（T）處理 N 天前（T - N ≥ 1）的數據，延遲時間粒度 ...
關於使用kafka時對於大數據消息體是遇到的問題
kafka對於消息體的大小默認為單條最大值是1M. 但是在我們應用場景中, 常常會出現一條消息大於1M, 如果不對kafka進行配置. 則會出現生產者無法將消息推送到kafka或消費者無法去消費kafka里面的數據, 這是我們就要對kafka進行以下配置: 1. ...
【大數據面試】【項目】數倉架構：離線、實時、數倉輸入輸出、選型、版本、服務器、集群規模、數據保存、組件安裝分配
一、質疑分層不合理 雲上大數據數倉解決方案：https://www.aliyun.com/solution/datavexpo/datawarehouse 1、離線數倉--基於hive 2、實時數倉--基於kafka中間件 每一步都會緩存至datahub 二、數倉概念 ...
公司招聘大數據開發工程師（離線計算、實時計算）
國內某大數據供應商 崗位要求1、本科以上學歷，計算機及相關專業畢業。2、對大數據處理有強烈興趣，掌握至少一種主流開源技術方案，如Hadoop、Spark、Flink、Hbase，ES，kafka等，熟悉開源組件開發、系統調優、高可用等技術。3、具備1-3年以上Java開發經驗，掌握Python ...