萬億級KV存儲架構與實踐
一、KV 存儲發展歷程 我們第一代的分布式 KV 存儲如下圖左側的架構所示，相信很多公司都經歷過這個階段。在客戶端內做一致性哈希，在后端部署很多的 Memcached 實例，這樣就實現了最基本的 KV 存儲分布式設計。但這樣的設計存在很明顯的問題：比如在宕機摘除節點時，會丟數據，緩存空間不夠 ...
原文：字節跳動自研強一致在線 KV &表格存儲實踐 - 上篇
背景 互聯網產品中存在很多種類的數據，不同種類的數據對於存儲系統的一致性，可用性，擴展性的要求是不同的。比如，金融 賬號相關的數據對一致性要求比較高，社交類數據例如點贊對可用性要求比較高。還有一些大規模元數據存儲場景，例如對象存儲的索引層數據，對一致性，擴展性和可用性要求都比較高，這就需要底層存儲系統在能夠保證數據強一致的同時，也具有良好的擴展性。在數據模型上，有些數據比如關系，KV 模型足夠用 ...
2020-06-07 18:38 0 819 推薦指數：
相關推薦
字節跳動如何實現產品體驗的一致性？ArcoDesign給出了一部分答案
字節跳動如何實現產品體驗的一致性？ArcoDesign給出了一部分答案 2021-10-28 09:16 ·人人都是產品經理 編輯導語：產品設計這一環節至關重要，它關乎到最終的用戶使用體驗。此時，若能降低設計和開發之間的溝通損耗，提升二者的協作效率，將可以有效保障產品落地后的用戶 ...
字節跳動在 Go 網絡庫上的實踐
https://mp.weixin.qq.com/s/wSaJYg-HqnYY4SdLA2Zzaw RPC 框架作為研發體系中重要的一環，承載了幾乎所有的服務流量。本文將簡單介紹字節跳動自研網絡庫 netpoll 的設計及實踐；以及我們實際遇到的問題和解決思路，希望能為大家提供一些 ...
分布式事務解決方案2--TCC事務補償實踐(事務強一致方案)
1、創建SpringBoot工程 工程名為my-tcc-demo 依賴如下 2、數據准備 134和129分別在user_134創建account_a表， user_129 創建account_b表 account_a表和account_b表數據結構時一致 ...
基於raft一致性算法的分布式 KV service(PingCAP Tinykv)
Overview 通過一系列的project，來搭建起來一個基於raft 一致性算法的分布式鍵值存儲 project1： 構建一個獨立的 kv server（只有1個node) project2： 基於raft算法實現分布式鍵值服務器 -2a：實現基本的raft一致性算法，三個 ...
字節跳動入局在線教育：燒錢、虧錢
01-在線教育：3億人的需求 ∨ 8月14日，字節跳動啟動了一波校招，這次是給教育業務開的專場招聘。字節跳動今年在教育賽道招聘量很大，崗位涵蓋教學教研、產品、市場等，基本上所有崗位都在招聘，可見字節對教育業務有多重視。3月，張一鳴在字節跳動8周年之際就提到未來三大發展重點：教育業務將是字節重點 ...
字節跳動 2019 春季算法實習生在線筆試
1. 題目一 求最少收到多少硬幣，即優先用大面額的硬幣找零，類似於求一個數的個位十位百位。 2. 題目二 先處理有連續三個字母的情況。遍歷字符串，定義一個 cnt 變量， ...
字節跳動基於Apache Hudi構建EB級數據湖實踐
來自字節跳動的管梓越同學一篇關於Apache Hudi在字節跳動推薦系統中EB級數據量實踐的分享。 接下來將分為場景需求、設計選型、功能支持、性能調優、未來展望五部分介紹Hudi在字節跳動推薦系統中的實踐。 在推薦系統中，我們在兩個場景下使用數據湖 我們使用 ...