缘起 数据存储实在太重要，打算整理下有关数据存储的相关内容。 内存篇 定长数据存储 1、定长无序； 2、定长有序：1）数据本身有序；2）索引+无序数据。常见数据结构：数组、链表、树、B+树等。 增强约束：内存有序存放(新数据追加写/循环写；老数据直接覆盖)。有序存放数据的内存数据可直接 ...

Redis是开源的高性能内存Key-Value数据库, 可以提供事务和持久化支持, 并提供了TTL(time to life)服务。 Redis采用单线程数据操作+非阻塞IO的模型，非阻塞IO提供了较高的IO性能，单线程操作保证了单条指令的原子性。 Redis使用简单灵活性能优异，常被用作缓存 ...

一、背景介绍 随着360公司业务发展，业务使用kv存储的需求越来越大。为了应对kv存储需求爆发式的增长和多使用场景的需求，360web平台部致力于打造一个全方位，适用于多场景需求的kv解决方案。目前，我们线上大规模使用的kv存储有Redis，Redis cluster ...

介质特性 由于内存的易失性，存储于内存的数据需要持久化来保证数据的安全。除了存储介质不同，本质上数据是可以在不同的存储介质中互相拷贝。内存极好的随机访问特性。磁盘seek极慢，良好的顺序读写性能；SSD极好的随机读性能，擦除次数上限；擦除再写入；页写入，块擦除(写放大: 擦除512KB大约2ms ...

本文节选自这里，原文以mysql innodb系统为例，介绍了数据经过的各层级的buffer和cache，其它系统也有相似的原理，摘录于此。 3. VFS层 该层的缓冲都放在主机内存中，它的目的主要是在操作系统层缓冲数据，避免慢速块设备读写操作影响了IO的响应时间。 3.1. 细究 ...

摘要：由于redis是基于内存的数据库，稳定性并不是很高，尤其是standalone模式下的redis。于是工作中在使用Spark-Redis时也会碰到很多问题，尤其是执行海量数据插入与查询的场景中。 海量数据查询 Redis是基于内存读取的数据库，相比其它的数据库，Redis的读取 ...

一、IO落盘原理 一个I/O请求，从应用层到底层块设备，路径如下图所示： 从上图可以看出IO路径是很复杂的。我们将IO路径简化一下： 一个I/O请求进入block layer之后，可能会经历下面的过程： Remap: 可能被DM(Device Mapper)或MD ...

1. 存储KV键值对，而V是一个键值对 ：hset person id 11 (相当于 k——>(k0:v0) ) 2.相当于创建一个多个属性的对象： hmset person id 1 name dr age 14 (结构：person——>(id ...