大數據下的Distinct Count（二）：Bitmap篇
在前一篇中介紹了使用API做Distinct Count，但是精確計算的API都較慢，那有沒有能更快的優化解決方案呢？ 1. Bitmap介紹 《編程珠璣》上是這樣介紹bitmap的： Bitmap是一個十分有用的數據結構。所謂的Bitmap就是用一個bit位來標記某個元素對應 ...
原文：大數據下的Distinct Count（一）：序
在數據庫中，常常會有Distinct Count的操作，比如，查看每一選修課程的人數： Hive 在大數據場景下，報表很重要一項是UV Unique Visitor 統計，即某時間段內用戶人數。例如，查看一周內app的用戶分布情況，Hive中寫HiveQL實現： Pig 與之類似，Pig的寫法： DataFu 為pig提供基數估計的UDF datafu.pig.stats.HyperLogLogP ...
2016-03-29 13:51 0 6507 推薦指數：
相關推薦
【原創】大數據基礎之詞頻統計Word Count
對文件進行詞頻統計，是一個大數據領域的hello word級別的應用，來看下實現有多簡單： 1 Linux單機處理 egrep -o "\b[[:alpha:]]+\b" test_word.log|sort|uniq -c|sort -rn|head -10 2 Scala單機 ...
【大數據】科普一下大數據的那些事兒
最近一直沒更新，不是因為懶，而是要學的東西太多了，時間全用來學大數據的技術棧了，見諒。 言歸正傳，這篇科普文章就給大家講講大數據的技術棧和生態圈，讓大數據不再神秘！ 何謂大數據？ 大數據的Wiki英文引文中的解釋如下： The tools, processes ...
Postgresql數據庫count(distinct)優化
基本信息 基本情況 表共800W數據，從260W的結果集中計算出不同的案件數量(130萬)，需要執行20多秒 原SQL內容 表信息和數據量 數據庫版本信息 執行計划 嘗試增加覆蓋索引 增加索引 ...
Redis 源碼解析 10：五大數據類型之有序集合
有序集合 sorted set (下面我們叫zset 吧) 有兩種編碼方式：壓縮列表 ziplist 和跳表 skiplist。 編碼一：ziplist zset 在 ziplist 中，成員(member)和分數(score)是挨在一起的，元素按照分數從小到大存儲。 舉個例子，我們用以 ...
大數據環境下的數據倉庫建設
先從大數據數據倉庫建設的整體架構說起。 下圖是數據倉庫的邏輯分層架構： 想看懂數據倉庫的邏輯分層架構，必須先弄懂以下4大概念。 數據源：數據來源，互聯網公司的數據來源隨着公司的規模擴張而呈遞增趨勢，同時自不同的業務源，比如埋點采集，客戶上報，API等。 ODS層：數據倉庫源頭系統 ...
大數據之presto
1、概述 Presto是一個分布式SQL查詢引擎，用於查詢分布在一個或多個不同數據源中的大數據集。presto可以通過使用分布式查詢，可以快速高效的完成海量數據的查詢。它是完全基於內存的，所以速度非常快。presto不僅可以查詢HDFS，還可以查詢RDMBS數據庫。 具體的介紹可以參考 ...
大數據 什么是 ETL
ETL 概念 ETL 這個術語來源於數據倉庫，ETL 指的是將業務系統的數據經過抽取、清洗轉換之后加載到數據倉庫的過程。ETL 的目的是將企業中的分散、零亂、標准不統一的數據整合到一起，為企業的決策提供分析依據。 ETL是 BI 項目重要的一個環節。 通常情況下，在 BI 項目中 ETL ...