Spark項目之電商用戶行為分析大數據平台之（一）項目介紹
一、項目概述 本項目主要用於互聯網電商企業中，使用Spark技術開發的大數據統計分析平台，對電商網站的各種用戶行為（訪問行為、購物行為、廣告點擊行為等）進行復雜的分析。用統計分析出來的數據，輔助公司中的PM（產品經理）、數據分析師以及管理人員分析現有產品的情況，並根據用戶行為分析結果持續改進產品 ...
原文：Spark項目之電商用戶行為分析大數據平台之（六）用戶訪問session分析模塊介紹
一 對用戶訪問session進行分析 可以根據使用者指定的某些條件，篩選出指定的一些用戶 有特定年齡 職業 城市 對這些用戶在指定日期范圍內發起的session，進行聚合統計，比如，統計出訪問時長在 s的session占總session數量的比例 按時間比例，比如一天有 個小時，其中 : : 的session數量占當天總session數量的 ，當天總session數量是 個，那么當天總共要抽取 個 ...
2018-05-21 09:27 2 5350 推薦指數：
相關推薦
Spark項目之電商用戶行為分析大數據平台之（八）需求分析
1、按條件篩選session 搜索過某些關鍵詞的用戶、訪問時間在某個時間段內的用戶、年齡在某個范圍內的用戶、職業在某個范圍內的用戶、所在某個城市的用戶，發起的session。找到對應的這些用戶的session，也就是我們所說的第一步，按條件篩選session。 這個功能，就最大的作用就是靈活 ...
Spark項目之電商用戶行為分析大數據平台之（七）數據調研--基本數據結構介紹
一、user_visit_action（Hive表） 1.1 表的結構 date：日期，代表這個用戶點擊行為是在哪一天發生的user_id：代表這個點擊行為是哪一個用戶執行的session_id ：唯一標識了某個用戶的一個訪問sessionpage_id ：點擊了某些商品/品類 ...
Spark項目之電商用戶行為分析大數據平台之（十）IDEA項目搭建及工具類介紹
一、創建Maven項目 創建項目，名稱為LogAnalysis 二、常用工具類 2.1 配置管理組建 ConfigurationManager.java View Code 2.2 常量的接口 Constants.java ...
Spark項目之電商用戶行為分析大數據平台之（九）表的設計
一、概述 數據設計，往往包含兩個環節： 第一個：就是我們的上游數據，就是數據調研環節看到的項目基於的基礎數據，是否要針對其開發一些Hive ETL，對數據進行進一步的處理和轉換，從而讓我們能夠更加方便的和快速的去計算和執行spark作業； 第二個：就是要設計spark作業要保存結果數據的業務 ...
Spark項目之電商用戶行為分析大數據平台之（十一）JSON及FASTJSON
一、概述 JSON的全稱是”JavaScript Object Notation”，意思是JavaScript對象表示法，它是一種基於文本，獨立於語言的輕量級數據交換格式。XML也是一種數據交換格式，為什么沒 有選擇XML呢？因為XML雖然可以作為跨平台的數據交換格式，但是在JS ...