一、整体架构 　　 　　从下至上依次分为数据采集层、数据计算层、数据服务层、数据应用层 　　 数据采集层：以DataX为代表的数据同步工具和同步中心 　　 数据计算层：以MaxComputer为代表的离线数据存储和计算平台 　　 数据服务层：以RDS为代表的数据库服务（接口或者视图 ...

1、为什么要建模意义 图书，希望分门别类摆放，电脑桌面上文件希望是自己习惯组织方式。 数据模型：数据组织和存储方法。强调从业务、存取和使用角度合理存储。（烂程序员关心代码，好的程序员关系数据结构和他们间的关系） 重要性： （1）性能：快速查询、减少IO。 （2）成本：降低计算和存储 ...

） 二、阿里巴巴数据整合管理体系oneData 　　　1.体系架构 　　　　 　　　　核心内容包括规范 ...

一、概述 　　数据管理主要分为：元数据管理、计算管理、存储和成本管理、数据质量管理 二、元数据 　　元数据主要分为两大类：技术元数据和业务元数据 　　技术元数据： 　　　　存储数据仓库技术细节的数据，包括： 　　　　存储元数据：表名、字段名、分区信息等 　　　　运行元数据：作业类型 ...

——谨将此文献给阿瑞(@Nyanko君一生懸命)和湛卢。阿瑞在MapReduce等方面提供的技术支持，使我们成为最早充分利用ODPS的团队之一；湛卢提出很多分析问题的新思路，让我们在走投无路的时 ...

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点 ...

​简介：阿里巴巴云原生大数据运维平台 SREWorks，沉淀了团队近10年经过内部业务锤炼的 SRE 工程实践，今天正式对外开源，秉承“数据化、智能化”运维思想，帮助运维行业更多的从业者采用“数智”思想做好高效运维。 ​ 作者 | 晟白 来源 | 阿里技术公众号 随着行业不断发展 ...

猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套，均为笔者自己参加面试或者一些读者分享给我的题目，保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提 ...