Spark項目之電商用戶行為分析大數據平台之(六)用戶訪問session分析模塊介紹


一、對用戶訪問session進行分析

1、可以根據使用者指定的某些條件,篩選出指定的一些用戶(有特定年齡、職業、城市);

2、對這些用戶在指定日期范圍內發起的session,進行聚合統計,比如,統計出訪問時長在0~3s的session占總session數量的比例;

3、按時間比例,比如一天有24個小時,其中12:00~13:00的session數量占當天總session數量的50%,當天總session數量是10000個,那么當天總共要抽取1000個session,ok,12:00~13:00的用戶,就得抽取1000*50%=500。而且這500個需要隨機抽取。

4、獲取點擊量、下單量和支付量都排名10的商品種類

5、獲取top10的商品種類的點擊數量排名前10的session

6、開發完畢了以上功能之后,需要進行大量、復雜、高端、全套的性能調優(大部分性能調優點,都是本人在實際開發過程中積累的經驗,基本都是全網唯一)

7、十億級數據量的troubleshooting(故障解決)的經驗總結

8、數據傾斜的完美解決方案(全網唯一,非常高端,因為數據傾斜往往是大數據處理程序的性能殺手,很多人在遇到的時候,往往沒有思路)

9、使用mock(模擬)的數據,對模塊進行調試、運行和演示效果

二、在實際企業項目中的使用架構

1、J2EE的平台(美觀的前端頁面),通過這個J2EE平台可以讓使用者,提交各種各樣的分析任務,其中就包括一個模塊,就是用戶訪問session分析模塊;可以指定各種各樣的篩選條件,比如年齡范圍、職業、城市等等。。

2、J2EE平台接收到了執行統計分析任務的請求之后,會調用底層的封裝了spark-submit的shell腳本(Runtime、Process),shell腳本進而提交我們編寫的Spark作業。

3、Spark作業獲取使用者指定的篩選參數,然后運行復雜的作業邏輯,進行該模塊的統計和分析。

4、Spark作業統計和分析的結果,會寫入MySQL中,指定的表

5、最后,J2EE平台,使用者可以通過前端頁面(美觀),以表格、圖表的形式展示和查看MySQL中存儲的該統計分析任務的結果數據。

三、用戶訪問session的介紹

用戶在電商網站上,通常會有很多的點擊行為,首頁通常都是進入首頁;然后可能點擊首頁上的一些商品;點擊首頁上的一些品類;也可能隨時在搜索框里面搜索關鍵詞;還可能將一些商品加入購物車;對購物車中的多個商品下訂單;最后對訂單中的多個商品進行支付。

用戶的每一次操作,其實可以理解為一個action,比如點擊、搜索、下單、支付

用戶session,指的就是,從用戶第一次進入首頁,session就開始了。然后在一定時間范圍內,直到最后操作完(可能做了幾十次、甚至上百次操作)。離開網站,關閉瀏覽器,或者長時間沒有做操作;那么session就結束了。

以上用戶在網站內的訪問過程,就稱之為一次session。簡單理解,session就是某一天某一個時間段內,某個用戶對網站從打開/進入,到做了大量操作,到最后關閉瀏覽器。的過程。就叫做session。

session實際上就是一個電商網站中最基本的數據和大數據。那么大數據,面向C端,也就是customer,消費者,用戶端的,分析,基本是最基本的就是面向用戶訪問行為/用戶訪問session。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM