原文:大规模Hadoop集群实践:腾讯分布式数据仓库(TDW)

TDW 是腾讯最大的离线数据处理平台。本文主要从需求 挑战 方案和未来计划等方面,介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案。 TDW Tencent distributed Data Warehouse,腾讯分布式数据仓库 基于开源软件Hadoop和 Hive 进行构建,打破了传统数据仓库不能线性扩展 可控性差的局限,并且根据 ...

2014-08-21 14:58 0 3155 推荐指数:

查看详情

大规模分布式系统运维实践

2013年,云梯1实现空间优化与跨机房集群扩展,云梯2单集群规模从1500台升级到5000台,同时跨集群扩展的5K项目顺利取得阶段性成果,阿里成为第一个独立研发拥有这类大规模通用计算平台的公司。当时,云梯1、云梯2,再加上已上线的生产集群,阿里整体集群规模已超过万台。迄今为止,全球范围内 ...

Wed Jan 11 18:44:00 CST 2017 0 2093
大规模分布式系统性能测试实践

一、云时代的应用性能测试挑战 二、华为云性能测试实践方案如何更加系统的开展性能测试活动 1. 被测对象分析(某社交类APP) 从系统架构分析可能出现的瓶颈点,作为重点测试场景 Feed流会频繁操作后台的Redis等服务,每次操作会产生100+次网络操作,200+次 ...

Fri Jan 04 03:42:00 CST 2019 0 1392
分布式系统 (大规模分布式系统原理解析和架构实践

http://blog.csdn.net/u010738184/article/details/49472795 分布式系统的基础理论: 分布式系统:多台机器通过网络连接在一起,作为一个整体为上层提供服务。 一、基础理论知识:数据分布、复制、一致性、容错。 1、异常 (1)服务器宕机 ...

Wed Nov 29 22:07:00 CST 2017 0 1929
数据仓库专题(3)-分布式数据仓库事实表设计思考

一、前言   最近在设计数据仓库数据逻辑模型,考虑到海量数据存储在分布式数据仓库中的技术架构模式,需要针对传统的面相关系型数据仓库数据存储模型进行技术改造。设计出一套真正适合分布式数据仓库数据存储模型。 二、事实表设计基础 事实表记录发生在现实世界中的操作型事件,其所产生 ...

Wed Apr 15 02:26:00 CST 2015 3 4117
分布式大规模服务调用架构

问题探索 一个完备的分布式架构应该具备和功能? 讨论范围 1.分布式微服务架构画像 2.分布式微服务市场需求与前景 3.分布式微服务在企业项目中的地位 4.分布式微服务生态圈 5.技术架构严谨的本质 6.分布式微服务治理技术原理 7.分布式微服务服务异步与同步的原理 8.分布式 ...

Wed Jul 15 16:31:00 CST 2020 0 531
.NET分布式大规模计算利器-Orleans(一)

写在前面 Orleans是基于Actor模型思想的.NET领域的框架,它提供了一种直接而简单的方法来构建分布式大规模计算应用程序,而无需学习和应用复杂的并发或其他扩展模式。我在2015年下半年开始应用Orleans,当时公司的交易系统采用的架构就是基于Orleans框架的,其展现出 ...

Mon Sep 23 17:55:00 CST 2019 26 2757
Adam:大规模分布式机器学习框架

引子 转载请注明:http://blog.csdn.net/stdcoutzyx/article/details/46676515 又是好久没写博客,记得有一次看Ng大神的訪谈 ...

Tue Jul 25 00:02:00 CST 2017 0 1885
ClickHouse数据库培训实战 (PB级大数据分析平台、大规模分布式集群架构)

一、ClickHouse数据库培训实战课程 (PB级大数据分析平台、大规模分布式集群架构)视频教程 为满足想学习和掌握ClickHouse大数据分析专用的数据库,风哥特别设计的一套比较系统的ClickHouse数据库培训课程;本套ClickHouse数据库培训实战课程 课程共计10小时,内容涉 ...

Thu Dec 17 04:14:00 CST 2020 0 490
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM