大数据平台集群
基本组件： Zookeeper： 分布式协作框架 节点数目： 测试集群：3个 生产集群：(7个差不多) 小型集群：3个或者5个 中型集群：5个或者7个 大型集群：更多，奇数个 HDFS： 存储海量数据 YARN： 集群 ...
原文：大数据平台在唯品会
大数据平台在唯品会近几年有了飞速发展，已经完成了从 到 的过程，各个部门逐渐将其引入到实际业务中。 百尺竿头，更进一步 ，在业务压力和集群负载同步增加的情况下，如何实现平台优化是 年的主旋律。 我们不可能面面俱到讲所有新东西，主要从集群健康和资源有效利用角度进行探讨，围绕集群监控，HDFS，Yarn和Capping调度来展开。 集群监控 这个技术架构主要关注于离线数据平台。原始数据通过flume和 ...
2018-09-01 17:16 0 787 推荐指数：
相关推荐
好用的大数据平台有哪些？
目前大数据平台有很多，这就需要我们可以对大数据平台进行分类，这就可以从大数据处理的过程、大数据处理的数据类型、大数据处理的方式以及平台对数据的部署方式这几方面进行。 首先我们从大数据处理的方式来划分，这样我们就能够把大数据平台分为批量处理、实时处理、综合处理。其中批量数据是对成批数据进行 ...
如何从0到1搭建大数据平台
大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解 ...
Hadoop与大数据平台
一、概念 Hadoop诞生于2006年，一个分布式系统基础架构，由Apache基金会开发。Hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、高效、可伸缩的方式处理。 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多 ...
大数据治理——搭建大数据探索平台
在数据治理中，数据探索服务的价值在初期往往是被忽视的，但是随着业务的增加，分析人员的增加，数据探索服务的价值就会越来越大。 一个成功的数据管理平台，不仅仅要提供各种数据分析的工具，提供各种各样的数据源，更要提供数据探索的能力。 为什么数据探索服务很重要？ 想象一下，作为一名数据科学家 ...
剖析大数据平台的数据存储
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据存储部分 ...
唯品会：在 Flink 容器化与平台化上的建设实践
简介： 唯品会 Flink 的容器化实践应用，Flink SQL 平台化建设，以及在实时数仓和实验平台上的应用案例。 转自dbaplus社群公众号作者：王康，唯品会数据平台高级开发工程师 自 2017 年起，为保障内部业务在平时和大促期间的平稳运行，唯品会就开始基 ...
大数据平台的数据采集
大数据平台的数据采集 数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。 在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中 ...