在數據庫中，常常會有Distinct Count的操作，比如，查看每一選修課程的人數： Hive 在大數據場景下，報表很重要一項是UV（Unique Visitor）統計，即某時間段內用戶人數。例如，查看一周內app的用戶分布情況，Hive中寫HiveQL實現： Pig 與之類似 ...

　　MapReduce是一種編程模型，用於大規模數據集（大於1TB）的並行運算。概念"Map（映射）"和"Reduce（歸約）" Bit-map空間壓縮和快速排序去重 1. Bit-map的基本思想 　　32位機器上，對於一個整型數，比如int a=1 在內存中占32bit位，這是為了方便 ...

大數據分析常用去重算法分析『Bitmap 篇』 mp.weixin.qq.com 去重分析在企業日常分析中的使用頻率非常高，如何在大數據場景下快速地進行去重分析一直是一大難點。在近期的 Apache Kylin ...

大數據篇：Hbase Hbase是什么 Hbase是一個分布式、可擴展、支持海量數據存儲的NoSQL數據庫，物理結構存儲結構（K-V）。 如果沒有Hbase 如何在大數據場景中，做到上億數據秒級返回。(有條件：單條數據，范圍數據 ...

大數據篇：Kafka kafka.apache.org Kafka 是什么? Kafka是一種高吞吐量的分布式發布、訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據 ...

大數據篇：HDFS HDFS是什么? Hadoop分布式文件系統(HDFS)是指被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統（Distributed File System）。它和現有的分布式文件系統有很多共同點。但同時，它和其他的分布式 ...

大數據篇：Zookeeper 1 Zookeeper概念 Zookeeper是什么 是一個基於觀察者設計模式的分布式服務管理框架，它負責和管理需要關心的數據，然后接受觀察者的注冊，一旦這些數據的狀態發生變化，Zookeeper就將負責通知已經在Zookeeper ...

大數據篇：Spark Spark是什么 Spark是一個快速（基於內存），通用，可擴展的計算引擎，采用Scala語言編寫。2009年誕生於UC Berkeley(加州大學伯克利分校，CAL的AMP實驗室)，2010年開源，2013年6月進入Apach孵化器，2014年成 ...