阿里巴巴大數據之路——數據技術篇
一、整體架構 從下至上依次分為數據采集層、數據計算層、數據服務層、數據應用層 數據采集層：以DataX為代表的數據同步工具和同步中心 數據計算層：以MaxComputer為代表的離線數據存儲和計算平台 數據服務層：以RDS為代表的數據庫服務（接口或者視圖 ...
原文：阿里巴巴大數據之路——數據管理篇
一 概述 數據管理主要分為：元數據管理 計算管理 存儲和成本管理 數據質量管理 二 元數據 元數據主要分為兩大類：技術元數據和業務元數據 技術元數據： 存儲數據倉庫技術細節的數據，包括： 存儲元數據：表名 字段名 分區信息等 運行元數據：作業類型 SQL 運行參數等 開發元數據：數據同步 計算任務 任務調度等信息 監控元數據：告警配置 運行日志等信息 業務元數據： 緯度及屬性 指標等的規范定義 數 ...
2018-08-03 13:39 0 2442 推薦指數：
相關推薦
阿里巴巴大數據之路——數據模型篇
） 二、阿里巴巴數據整合管理體系oneData 1.體系架構 核心內容包括規范 ...
大數據之路：阿里巴巴大數據實踐PDF下載
關注微信號，發送消息“大數據之路”獲取下載鏈接 ...
阿里巴巴大數據競賽總結
過程。分成兩個部分：首先的這一篇，記錄我們分析問題的思路，以及由此建立的特征體系，模型的選擇和融合；下 ...
【阿里巴巴大數據實踐筆記】第8章：大數據領域建模綜述
1、為什么要建模意義 圖書，希望分門別類擺放，電腦桌面上文件希望是自己習慣組織方式。 數據模型：數據組織和存儲方法。強調從業務、存取和使用角度合理存儲。（爛程序員關心代碼，好的程序員關系數據結構和他們間的關系） 重要性： （1）性能：快速查詢、減少IO。 （2）成本：降低計算和存儲 ...
阿里巴巴內部：2020年全技術棧PPT分享（Java架構篇+算法篇+大數據）
現當今我們能夠學習的技術有哪些？今天我就給大家推薦一下！ 也算做一次技術總結（萬粉總結，回饋粉絲） 大數據，算法，PowerPoint，Java，Spark，阿里巴巴集團，技術，數據庫，支付技術，數據結構，推薦技術，Java虛擬機，Hadoop，Twitter，雲計算，新聞，Storm，社交 ...
阿里巴巴飛天大數據架構體系與Hadoop生態系統
很多人問阿里的飛天大數據平台、雲梯2、MaxCompute、實時計算到底是什么，和自建Hadoop平台有什么區別。 先說Hadoop 什么是Hadoop？Hadoop是一個開源、高可靠、可擴展的分布式大數據計算框架系統，主要用來解決海量數據的存儲、分析、分布式資源調度等。Hadoop最大的優點 ...
阿里巴巴雲原生大數據運維平台 SREWorks 正式開源
簡介：阿里巴巴雲原生大數據運維平台 SREWorks，沉淀了團隊近10年經過內部業務錘煉的 SRE 工程實踐，今天正式對外開源，秉承“數據化、智能化”運維思想，幫助運維行業更多的從業者采用“數智”思想做好高效運維。 作者 | 晟白 來源 | 阿里技術公眾號 隨着行業不斷發展 ...