阿里巴巴大数据之路——数据技术篇
一、整体架构 从下至上依次分为数据采集层、数据计算层、数据服务层、数据应用层 数据采集层：以DataX为代表的数据同步工具和同步中心 数据计算层：以MaxComputer为代表的离线数据存储和计算平台 数据服务层：以RDS为代表的数据库服务（接口或者视图 ...
原文：阿里巴巴大数据之路——数据管理篇
一 概述 数据管理主要分为：元数据管理 计算管理 存储和成本管理 数据质量管理 二 元数据 元数据主要分为两大类：技术元数据和业务元数据 技术元数据： 存储数据仓库技术细节的数据，包括： 存储元数据：表名 字段名 分区信息等 运行元数据：作业类型 SQL 运行参数等 开发元数据：数据同步 计算任务 任务调度等信息 监控元数据：告警配置 运行日志等信息 业务元数据： 纬度及属性 指标等的规范定义 数 ...
2018-08-03 13:39 0 2442 推荐指数：
相关推荐
阿里巴巴大数据之路——数据模型篇
） 二、阿里巴巴数据整合管理体系oneData 1.体系架构 核心内容包括规范 ...
大数据之路：阿里巴巴大数据实践PDF下载
关注微信号，发送消息“大数据之路”获取下载链接 ...
阿里巴巴大数据竞赛总结
过程。分成两个部分：首先的这一篇，记录我们分析问题的思路，以及由此建立的特征体系，模型的选择和融合；下 ...
【阿里巴巴大数据实践笔记】第8章：大数据领域建模综述
1、为什么要建模意义 图书，希望分门别类摆放，电脑桌面上文件希望是自己习惯组织方式。 数据模型：数据组织和存储方法。强调从业务、存取和使用角度合理存储。（烂程序员关心代码，好的程序员关系数据结构和他们间的关系） 重要性： （1）性能：快速查询、减少IO。 （2）成本：降低计算和存储 ...
阿里巴巴内部：2020年全技术栈PPT分享（Java架构篇+算法篇+大数据）
现当今我们能够学习的技术有哪些？今天我就给大家推荐一下！ 也算做一次技术总结（万粉总结，回馈粉丝） 大数据，算法，PowerPoint，Java，Spark，阿里巴巴集团，技术，数据库，支付技术，数据结构，推荐技术，Java虚拟机，Hadoop，Twitter，云计算，新闻，Storm，社交 ...
阿里巴巴飞天大数据架构体系与Hadoop生态系统
很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点 ...
阿里巴巴云原生大数据运维平台 SREWorks 正式开源
简介：阿里巴巴云原生大数据运维平台 SREWorks，沉淀了团队近10年经过内部业务锤炼的 SRE 工程实践，今天正式对外开源，秉承“数据化、智能化”运维思想，帮助运维行业更多的从业者采用“数智”思想做好高效运维。 作者 | 晟白 来源 | 阿里技术公众号 随着行业不断发展 ...