Spark項目之電商用戶行為分析大數據平台之（一）項目介紹
一、項目概述 本項目主要用於互聯網電商企業中，使用Spark技術開發的大數據統計分析平台，對電商網站的各種用戶行為（訪問行為、購物行為、廣告點擊行為等）進行復雜的分析。用統計分析出來的數據，輔助公司中的PM（產品經理）、數據分析師以及管理人員分析現有產品的情況，並根據用戶行為分析結果持續改進產品 ...
原文：Spark項目之電商用戶行為分析大數據平台之（十）IDEA項目搭建及工具類介紹
一 創建Maven項目 創建項目，名稱為LogAnalysis 二 常用工具類 . 配置管理組建 ConfigurationManager.java View Code . 常量的接口 Constants.java View Code . 時間日期工具類 DateUtils.java View Code . 數字格式化工具類 NumberUtils.java View Code . 參數工具類 P ...
2018-05-21 11:52 0 3497 推薦指數：
相關推薦
Spark項目之電商用戶行為分析大數據平台之（三）大數據集群的搭建
Zookeeper集群搭建 http://www.cnblogs.com/qingyunzong/p/8619184.html Hadoop集群搭建 http://www.cnblogs.com/qingyunzong/p/8634335.html http ...
Spark項目之電商用戶行為分析大數據平台之（六）用戶訪問session分析模塊介紹
一、對用戶訪問session進行分析 1、可以根據使用者指定的某些條件，篩選出指定的一些用戶（有特定年齡、職業、城市）； 2、對這些用戶在指定日期范圍內發起的session，進行聚合統計，比如，統計出訪問時長在0~3s的session占總session數量的比例； 3、按時間比例，比如一 ...
Spark項目之電商用戶行為分析大數據平台之（七）數據調研--基本數據結構介紹
一、user_visit_action（Hive表） 1.1 表的結構 date：日期，代表這個用戶點擊行為是在哪一天發生的user_id：代表這個點擊行為是哪一個用戶執行的session_id ：唯一標識了某個用戶的一個訪問sessionpage_id ：點擊了某些商品/品類 ...
Spark項目之電商用戶行為分析大數據平台之（八）需求分析
。也就是說，可以讓使用者，對感興趣的和關系的用戶群體，進行后續各種復雜業務邏輯的統計和分析，那么拿到的結 ...
Spark項目之電商用戶行為分析大數據平台之（九）表的設計
一、概述 數據設計，往往包含兩個環節： 第一個：就是我們的上游數據，就是數據調研環節看到的項目基於的基礎數據，是否要針對其開發一些Hive ETL，對數據進行進一步的處理和轉換，從而讓我們能夠更加方便的和快速的去計算和執行spark作業； 第二個：就是要設計spark作業要保存結果數據的業務 ...