万亿级KV存储架构与实践
一、KV 存储发展历程 我们第一代的分布式 KV 存储如下图左侧的架构所示，相信很多公司都经历过这个阶段。在客户端内做一致性哈希，在后端部署很多的 Memcached 实例，这样就实现了最基本的 KV 存储分布式设计。但这样的设计存在很明显的问题：比如在宕机摘除节点时，会丢数据，缓存空间不够 ...
原文：淘宝万亿级海量交易订单存储在哪？
淘宝交易订单系统介绍 天猫和淘宝每天发生的实物和虚拟商品的交易达到亿级别。考虑到一次成功交易的整个链路，会涉及到会员信息验证，商品库信息查询，订单创建，库存扣减，优惠扣减，订单支付，物流信息更新，确认支付等。 链路中的每一环都涉及到数据库中记录的创建和状态的更新，一次成功的交易可能对应到后台信息系统上数百次数据库事务操作，支撑交易系统的整个数据库集群则会承担每日高达数百亿的事务读写。这除了给数据 ...
2020-05-07 18:05 0 744 推荐指数：
相关推荐
【HBase调优】Hbase万亿级存储性能优化总结
背景：HBase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对HBase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，HBase入 ...
揭秘淘宝286亿海量图片存储与处理架构
8月27日下午，在IT168系统架构师大会存储与系统架构分论坛上，淘宝网技术委员会主席，淘宝网核心工程师章文嵩向我们详细介绍了淘宝网图片处理与存储系统的架构。章文嵩博士的演讲日程包括了淘宝的整个系统架构、淘宝图片存储系统架构，淘宝网独立开发的TFS集群文件系统，前端CDN系统以及淘宝网在节能服务器 ...
Kafka万亿级消息实战
一、Kafka应用 本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天 甚至更高后，我们需要具备哪些能力才能保障集群高可用、高可靠、高性能、高吞吐、安全的运行。 这里总结内容主要针对Kafka2.1.1版本，包括集群版本升级、数据迁移、流量限制、监控告警、负载均衡、集群 ...
万亿级日志与行为数据存储查询技术剖析（续）——Tindex是改造的lucene和druid
五、Tindex 数果智能根据开源的方案自研了一套数据存储的解决方案，该方案的索引层通过改造Lucene实现，数据查询和索引写入框架通过扩展Druid实现。既保证了数据的实时性和指标自由定义的问题，又能满足大数据量秒级查询的需求，系统架构如下图，基本实现了文章开头提出的几个目标。 (点击放大 ...
关于订单流交易，这里有一份终极指南（收藏级万字干货）
https://zhuanlan.zhihu.com/p/90275722 这篇文章讲了都是有关订单流的知识。作为一名普通的交易者，如果你想要一份外汇订单流交易的终极指南，我跟你说，读这一篇就足够。 这里面包含一些关于订单流的非常稳固的知识体系： 如何解读订单流 订单流交易 ...
第一章 基础设施，1.1 万亿交易量级下的秒级监控(作者：郁松、章邯、程超、癫行)
1.1 万亿交易量级下的秒级监控 前言 2016财年，阿里巴巴电商交易额（GMV）突破3万亿元人民币，成为全球最大网上经济体，这背后是基础架构事业群构筑的坚强基石。 在2016年双11全球购物狂欢节中，天猫全天交易额1207亿元，前30分钟每秒交易峰值17.5万笔，每秒支付峰值12万笔。承载 ...
万亿级日志与行为数据存储查询技术剖析——Hbase系预聚合方案、Dremel系parquet列存储、预聚合系、Lucene系
转自：http://www.infoq.com/cn/articles/trillion-log-and-data-storage-query-techniques?utm_source=infoq& ...