典型分布式系统分析: GFS
本文是典型分布式系统分析系列的第二篇，关注的是GFS，一个分布式文件存储系统。在前面介绍MapReduce的时候也提到，MapReduce的原始输入文件和最终输出都是存放在GFS上的，GFS保证了数据的可用性与可靠性，那么本文具体看看GFS是怎么做到的。 GFS（Google ...
原文：典型分布式系统分析：MapReduce
在 分布式学习最佳实践：从分布式系统的特征开始 附思维导图 一文中，提到学习分布式系统的一个好方法是思考分布式系统要解决的问题，有哪些衡量标准，为了解决这些问题 提出了哪些理论 协议 算法，这些解决办法各自的优缺点 适用场景 然后再思考，不同的系统是如何解决同一个问题的，比如说数据分片，比如说元数据的高可用，到了工程实践这个层面是怎么解决的。 上面是从问题出发，寻找答案。而另一个方法，是从一个具 ...
2018-04-19 09:01 3 3556 推荐指数：
相关推荐
典型分布式系统分析：Dynamo
本文是典型分布式系统分析系列的第四篇，主要介绍 Dynamo，一个在 Amazon 公司内部使用的去中心化的、高可用的分布式 key-value 存储系统。 在典型分布式系统分析系列的第一篇 MapReduce 中提出了本系列主要关心的问题： 系统在性能、可扩展性、可用性、一致性之间 ...
典型分布式系统分析：Bigtable
本文是典型分布式系统分析的第三篇，分析的是Bigtable，一个结构化的分布式存储系统。 Bigtable作为一个分布式存储系统，和其他分布式系统一样，需要保证可扩展、高可用与高性能。与此同时，Bigtable还有应用广泛的特点（wide applicability），既能满足对延时敏感 ...
分布式系统 MIT 6.824 Lab 1: MapReduce 准备
一、环境准备 1.Linux系统 2.Go环境的安装 二、准备实验的代码 通过课程地址获取 https://pdos.csail.mit.edu/6.824/labs/lab-mr.html 三、测试样例 *注意这里要将实验的6.824路径设置为到GOPATH中 由于实验提供了顺序 ...
什么是分布式系统
本文转自InfoQ,原作者:张帆 如果现在让你阐述一下什么是“分布式系统”，你脑子里第一下跳出来的是什么？我想，此时可以用苏东坡先生的一句诗，来形象地描述大家对分布式系统的认识： 我觉得每个人脑子里一下子涌现出来的肯定是非常具象的东西，就像下面这些： 一:“分布式系统”等于 ...
什么是分布式系统
当单体应用的性能不能满足逐渐增长的业务需求时，就出现了分布式系统。接下来的文章中就让我们看下分布式系统的相关概念。 什么是分布式系统 看了很多文章，感觉很少有文章能把这个概念解释的既简单，又清楚的。结合这自己的理解，我对分布式系统的概念做了下面的总结。 关于分布式系统的定义问题，我倾向 ...
分布式系统选主场景分析及实现
一：需要选主的场景 1：服务有多台机器，取其中一台去执行任务。多台机器同时执行会出问题，如将数据库中状态为失败的记录取出来重新执行，如果多台机器同时执行，会导致一个失败的任务被多台机器 ...
Linux下分布式系统以及CAP理论分析
CAP理论被很多人拿来作为分布式系统设计的金律，然而感觉大家对CAP这三个属性的认识却存在不少误区，那么什么是CAP理论呢？CAP原本是一个猜想，2000年PODC大会的时候大牛Brewer提出的，他认为在设计一个大规模可扩放的网络服务时候会遇到三个特性：一致性（consistency ...