網易雲音樂用戶畫像大數據項目實戰 之前本人整理的大多為學習筆記進行知識點的整理，而這篇將會把以前的大部分知識點串聯起來，搞一個完整的項目，主要涉及的流程為模擬用戶日志數據的生成，ETL以及編寫sql分析函數進行最終的APP層數據的生成，由於該項目之前有做過，因此本次會在以前基礎上做一些改進 ...

一、數據倉庫概念 數據倉庫（Data Warehouse） 　　是為企業所有決策制定過程，提供所有系統數據支持的戰略集合。 二、項目需求及架構設計 2.1 項目需求分析 　　1、項目需求 　　　1）用戶行為數據采集平台搭建 　　　2）業務數據采集平台搭建 　　　3）數據倉庫維度 ...

Zookeeper集群搭建 http://www.cnblogs.com/qingyunzong/p/8619184.html Hadoop集群搭建 http://www.cnblogs.com ...

一、項目概述 本項目主要用於互聯網電商企業中，使用Spark技術開發的大數據統計分析平台，對電商網站的各種用戶行為（訪問行為、購物行為、廣告點擊行為等）進行復雜的分析。用統計分析出來的數據，輔助公司中的PM（產品經理）、數據分析師以及管理人員分析現有產品的情況，並根據用戶行為分析結果持續改進產品 ...

...

...

一、概述 數據設計，往往包含兩個環節： 第一個：就是我們的上游數據，就是數據調研環節看到的項目基於的基礎數據，是否要針對其開發一些Hive ETL，對數據進行進一步的處理和轉換，從而讓我們能夠更加方便的和快速的去計算和執行spark作業； 第二個：就是要設計spark作業要保存結果數據的業務 ...

1、按條件篩選session 搜索過某些關鍵詞的用戶、訪問時間在某個時間段內的用戶、年齡在某個范圍內的用戶、職業在某個范圍內的用戶、所在某個城市的用戶，發起的session。找到對應的這些用戶的session，也就是我們所說的第一步，按條件篩選session。 這個功能，就最大的作用就是靈活 ...