一、整體架構 　　 　　從下至上依次分為數據采集層、數據計算層、數據服務層、數據應用層 　　 數據采集層：以DataX為代表的數據同步工具和同步中心 　　 數據計算層：以MaxComputer為代表的離線數據存儲和計算平台 　　 數據服務層：以RDS為代表的數據庫服務（接口或者視圖 ...

1、為什么要建模意義 圖書，希望分門別類擺放，電腦桌面上文件希望是自己習慣組織方式。 數據模型：數據組織和存儲方法。強調從業務、存取和使用角度合理存儲。（爛程序員關心代碼，好的程序員關系數據結構和他們間的關系） 重要性： （1）性能：快速查詢、減少IO。 （2）成本：降低計算和存儲 ...

） 二、阿里巴巴數據整合管理體系oneData 　　　1.體系架構 　　　　 　　　　核心內容包括規范 ...

一、概述 　　數據管理主要分為：元數據管理、計算管理、存儲和成本管理、數據質量管理 二、元數據 　　元數據主要分為兩大類：技術元數據和業務元數據 　　技術元數據： 　　　　存儲數據倉庫技術細節的數據，包括： 　　　　存儲元數據：表名、字段名、分區信息等 　　　　運行元數據：作業類型 ...

——謹將此文獻給阿瑞(@Nyanko君一生懸命)和湛盧。阿瑞在MapReduce等方面提供的技術支持，使我們成為最早充分利用ODPS的團隊之一；湛盧提出很多分析問題的新思路，讓我們在走投無路的時 ...

很多人問阿里的飛天大數據平台、雲梯2、MaxCompute、實時計算到底是什么，和自建Hadoop平台有什么區別。 先說Hadoop 什么是Hadoop？Hadoop是一個開源、高可靠、可擴展的分布式大數據計算框架系統，主要用來解決海量數據的存儲、分析、分布式資源調度等。Hadoop最大的優點 ...

​簡介：阿里巴巴雲原生大數據運維平台 SREWorks，沉淀了團隊近10年經過內部業務錘煉的 SRE 工程實踐，今天正式對外開源，秉承“數據化、智能化”運維思想，幫助運維行業更多的從業者采用“數智”思想做好高效運維。 ​ 作者 | 晟白 來源 | 阿里技術公眾號 隨着行業不斷發展 ...

貓場面試題第 1 套 以下為我為大家整理的貓場面試題第一套，均為筆者自己參加面試或者一些讀者分享給我的題目，保證真實和准確性。 1 框架部分 1.1 Spark 提交 job 流程 所謂提 ...