本文根据美团基础架构部/容器研发中心技术总监欧阳坚在2018 QCon（全球软件开发大会）上的演讲内容整理而成。 背景 美团的容器集群管理平台叫做HULK。漫威动画里的HULK在发怒时会变成“绿巨人”，它的这个特性和容器的“弹性伸缩”很像，所以我们给这个平台起名为HULK。貌似有一些 ...

大数据平台现状 饿了么的大数据平台团队成立于2015年5月份左右，在16年4月份，Hadoop集群规模还只在100+节点数，而在一年时间里集群规模快速增长到1000+的水平，这还是在引入数据生命周期进行管控的情况下的规模增速；同样，流计算集群的规模虽然相对较小，但也经历了10倍的增长，一些 ...

一个常见的大数据平台架构 这是一个典型的大数据架构，且对架构进行了「分层」，分为「数据源层」、「数据传输层」、「数据存储层」、「编程模型层」和「数据分析层」，如果继续往上走的话，还有「数据可视化层」和「数据应用层」。 ...

1、Lambda架构 Lambda架构是大数据平台里最成熟、最稳定的架构，它的核心思想是：将批处理作业和实时流处理作业分离，各自独立运行，资源互相隔离。 标准的Lambda架构有如下几个层次： （1）Batch Laye：主要负责所有的批处理操作，支撑该层的技术以Hive ...

笔者早期从事数据开发时，使用spark开发一段时间，感觉大数据开发差不多学到头了，该会的似乎都会了。在后来的实践过程中，发现很多事情需要站在更高的视角来看问题，不然很容易陷入“不识庐山真面目”的境界。最近在思考数据资产管理平台的建设，进行血缘分析开发，有如下感悟： 大数据平台从数据层面来说，包括 ...

何谓五横，基本还是根据数据的流向自底向上划分五层，跟传统的数据仓库其实很类似，数据类的系统，概念上还是相通的，分别为数据采集层、数据处理层、数据分析层、数据访问层及应用层。同时，大数据平台架构跟传统数据仓库有一个不同，就是同一层次，为了满足不同的场景，会采用更多的技术组件，体现百花齐放的特点，这是 ...

进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能 ...

一、总体设计 初来公司时，公司还没有大数据，我是作为大数据架构师招入的，结合公司的线上和线下业务，制定了如下的大数据架构路线图。 二、大数据任务开发和调度平台架构设计 在设计完总体架构后，并且搭建完hadoop/yarn的大数据底层计算平台后， 按照总体架构设计思路， 首先需要构建 ...