上一篇聊了聊批处理的缺点，对于无界数据来说，流处理会是更好的选择， 流 指的是随着时间的推移逐步增加的数据。消息队列可以将这些流组织起来，快速的在应用程序中给予反馈。但是消息队列与传统的数据库之间又存在着 剪不断，理还乱 的 纠葛 ，最后我们将探讨通过消息队列之中与时序有关的一些问题。 文件是批处理作业的输入和输出，而在流处理之中，作业的输入输出等价物是什么呢 在流处理之中，当输入是文件时，第一 ...
2018-03-06 14:15 0 1304 推荐指数：
在上一篇的笔记之中，我们讨论了数据模型和查询语言。在第三章之中我们来聊一聊不同的数据引擎内部是如何实现存储和检索的，以及不同设计之间的折中与妥协。 1.键值对数据库 键值对数据库是数据库形式之中最简单的一种模式，我们可以把它简化的实现为下面两个函数： 底层存储格式也十分简单：一个 ...
之前的文章大量的内容在和大家探讨分布式存储，接下来的章节进入了分布式计算领域。坦白说，个人之前专业的重心侧重于存储，对许多计算的内容理解可能不是和确切，如果文章中的理解有所不妥，愿虚心赐教。本篇将和大家聊一聊分布式计算的一个子集：批处理。 批处理系统通常也叫脱机系统，需要大量的输入数据 ...
坦白说也是机缘巧合，在硕士生阶段进入分布式系统领域学习。无论是大规模存储或计算，其核心也是运用分布式技术利用并行性来解决数据密集型应用的需求。最近开始在啃这本《Designing Data-Intensive Applications》大部头，作者Martin Kleppmann在分布式数据 ...
数据模型是开发软件的最重要的部分，因为它们对应用程序有着深远的影响：不仅是软件的编写方式，而且也影响我们如何解决的问题的方式。第二篇读书笔记，我们聊一聊数据模型的设计。 1.数据模型的分层 作为一个开发者来说，在一个复杂的应用程序中，是存在很多分层模型的，但基本思想还是一样的：每一层 ...
，NoSQL数据库，流处理或批处理以及消息队列等，我们该如何做出正确的选择？ 我们又该如何正确理解这些流行术 ...
上一篇聊了聊构建分布式系统所面临的困难，这篇将着重讨论构建容错分布式系统的算法与协议。构建容错系统的最佳方法是使用通用抽象，允许应用程序忽略分布式系统中的一些问题。本篇我们先聊一聊线性一致性，以 ...
相对于读书笔记，本文更像是一篇阅读大纲，在初步阅读本书后，尚有许多疑难，借用此大纲，以后温故而知新 DDIA讲了什么 什么是data-intensive 原文这样定义 Data-intensive applications are pushing the boundaries ...
【Broker简述】 Broker是RocketMQ的核心，大部分“重量级”的工作都是由Broker完成的，包括： 1.接受Producer发过来的消息； 2.处理Consumer的消费信息请求； 3.消息的持久化存储； 4.消息的HA机制； 5.服务端的过滤功能。 【消息 ...
