1. 傳統數據湖存在的問題與挑戰 傳統數據湖解決方案中，常用Hive來構建T+1級別的數據倉庫，通過HDFS存儲實現海量數據的存儲與水平擴容，通過Hive實現元數據的管理以及數據操作的SQL化。雖然能夠在海量批處理場景中取得不錯的效果，但依然存在如下現狀問題： 問題一：不支持事務 由於傳統 ...

1.近實時攝取 將數據從外部源如事件日志、數據庫提取到Hadoop數據湖 中是一個很常見的問題。在大多數Hadoop部署中，一般使用混合提取工具並以零散的方式解決該問題，盡管這些數據對組織是非常有價值的。 對於RDBMS攝取，Hudi通過Upserts提供了更快的負載，而非昂貴且低效的批量負載 ...

大數據離線分析場景 通常是指對海量數據進分析和處理，形成結果數據，供下一步數據應用使用。離線處理對處理時間要求不高，但是所處理數據量較大，占用計算存儲資源較多，通常通過MR或者Spark作業或者SQL作業實現。離線分析系統架構中以HDFS分布式存儲軟件為數據底座，計算引擎以基於MapReduce ...

ZooKeeper典型應用場景一覽 數據發布與訂閱（配置中心） 發布與訂閱模型，即所謂的配置中心，顧名思義就是發布者將數據發布到ZK節點上，供訂閱者動態獲取數據，實現配置信息的集中式管理和動態更新。例如全局的配置信息，服務 ...

轉自：http://blog.jobbole.com/110388/ ZooKeeper是一個高可用的分布式數據管理與協調框架。基於對ZAB算法的實現，該框架能夠很好地保證分布式環境中數據的一致性。也是基於這樣的特性，使得ZooKeeper成為了解決分布式一致性問題的利器。 數據發布 ...

　　ZooKeeper 是一個高可用的分布式數據管理與系統協調框架。基於對 Paxos 算法的實現，使該框架保證了分布式環境中數據的強一致性，也正是基於這樣的特性，使得 ZooKeeper 可以解決很多分布式問題。 　　隨着互聯網系統規模的不斷擴大，大數據時代飛速 ...

Apache Hudi使用索引來定位更刪操作所在的文件組。對於Copy-On-Write表，索引能加快更刪的操作，因為避免了通過連接整個數據集來決定哪些文件需要重寫。對於Merge-On-Read表，這個設計，對於任意給定的基文件，能限定要與其合並的記錄數量。具體地，一個給定的基文件只需要和其所 ...

序言 常用的5種數據結構和應用場景 String：緩存、計數器、分布式鎖等。 List：鏈表、隊列、微博關注人時間軸列表等。 Hash：用戶信息、Hash 表等。 Set：去重、贊、踩、共同好友等。 Zset：訪問量排行榜、點擊量排行榜等。 Redis應用 ...