緣起 數據存儲實在太重要，打算整理下有關數據存儲的相關內容。 內存篇 定長數據存儲 1、定長無序； 2、定長有序：1）數據本身有序；2）索引+無序數據。常見數據結構：數組、鏈表、樹、B+樹等。 增強約束：內存有序存放(新數據追加寫/循環寫；老數據直接覆蓋)。有序存放數據的內存數據可直接 ...

Redis是開源的高性能內存Key-Value數據庫, 可以提供事務和持久化支持, 並提供了TTL(time to life)服務。 Redis采用單線程數據操作+非阻塞IO的模型，非阻塞IO提供了較高的IO性能，單線程操作保證了單條指令的原子性。 Redis使用簡單靈活性能優異，常被用作緩存 ...

一、背景介紹 隨着360公司業務發展，業務使用kv存儲的需求越來越大。為了應對kv存儲需求爆發式的增長和多使用場景的需求，360web平台部致力於打造一個全方位，適用於多場景需求的kv解決方案。目前，我們線上大規模使用的kv存儲有Redis，Redis cluster ...

介質特性 由於內存的易失性，存儲於內存的數據需要持久化來保證數據的安全。除了存儲介質不同，本質上數據是可以在不同的存儲介質中互相拷貝。內存極好的隨機訪問特性。磁盤seek極慢，良好的順序讀寫性能；SSD極好的隨機讀性能，擦除次數上限；擦除再寫入；頁寫入，塊擦除(寫放大: 擦除512KB大約2ms ...

本文節選自這里，原文以mysql innodb系統為例，介紹了數據經過的各層級的buffer和cache，其它系統也有相似的原理，摘錄於此。 3. VFS層 該層的緩沖都放在主機內存中，它的目的主要是在操作系統層緩沖數據，避免慢速塊設備讀寫操作影響了IO的響應時間。 3.1. 細究 ...

摘要：由於redis是基於內存的數據庫，穩定性並不是很高，尤其是standalone模式下的redis。於是工作中在使用Spark-Redis時也會碰到很多問題，尤其是執行海量數據插入與查詢的場景中。 海量數據查詢 Redis是基於內存讀取的數據庫，相比其它的數據庫，Redis的讀取 ...

一、IO落盤原理 一個I/O請求，從應用層到底層塊設備，路徑如下圖所示： 從上圖可以看出IO路徑是很復雜的。我們將IO路徑簡化一下： 一個I/O請求進入block layer之后，可能會經歷下面的過程： Remap: 可能被DM(Device Mapper)或MD ...

1. 存儲KV鍵值對，而V是一個鍵值對 ：hset person id 11 (相當於 k——>(k0:v0) ) 2.相當於創建一個多個屬性的對象： hmset person id 1 name dr age 14 (結構：person——>(id ...