目录 顺序存储与哈希索引 SSTable和LSM tree B-Tree 存储结构的比对 小结 本篇主要讨论的是不同存储结构（主要是LSM-tree和B ...

一. 概述 在大数据的静态数据处理中，目前普遍采用的是用Spark+Hdfs（Hive/Hbase）的技术架构来对数据进行处理。 但有时候有其他的需求，需要从其他不同数据源不间断得采集数据，然后存 ...

在说Hadoop Yarn的原理之前，我们先来看看Yarn是怎样出现的。在古老的Hadoop1.0中，MapReduce的JobTracker负责了太多的工作，包括资源调度，管理众多的TaskTrac ...

我们都知道现在大数据存储用的基本都是 Hadoop Hdfs ，但在 Hadoop 诞生之前，我们都是如何存储大量数据的呢？这次我们不聊技术架构什么的，而是从技术演化的角度来看看 Hadoop Hdf ...

最近在做MIT6.824的几个实验，真心觉得每一个做分布式相关开发的程序员都应该去刷一遍（裂墙推荐），肯定能够提高自己的技术认知水平，同时也非常感谢MIT能够把这么好的资源分享出来。 其中第二个实验 ...

在做大型网站或者系统的时候，经常会遇到个问题就是批量插入或者修改数据库。如果遇到这个问题，还是一条条记录来处理，这样的效率太低了，所以要考虑批量插入或者修改 今天这边不讲SqlBulkCopy，只简 ...

在说Hadoop Yarn之前，我们先来看看Yarn是怎样出现的。在古老的Hadoop1.0中，MapReduce的JobTracker负责了太多的工作，包括资源调度，管理众多的TaskTracker ...

一、绪论 1.存储的本质 信息跨越空间的传递——通讯 信息跨越时间的传递——存储 通讯：利用具有跨越空间特性的物理现象 ---声音、光、电 存储：利用具有时间稳态的物理现象 ---物理稳态 ...

前言 前段时间有幸接触到Apache Carbondata，试用过程中发现了一个小小的问题，并且又很快的定位到了问题。然后在社区群里反映了下，负责人问愿不愿意提个JIRA,PR，然 ...

一. 概述 上一篇我们介绍了如何将数据从mysql抛到kafka，这次我们就专注于利用storm将数据写入到hdfs的过程，由于storm写入hdfs的可定制东西有些多，我们先不从kafka读取，而 ...