網站用戶行為分析——案例簡介

案例簡介

　　網站用戶行為分析本案例涉及數據預處理、存儲、查詢和可視化分析等數據處理全流程所涉及的各種典型操作，涵蓋Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系統和軟件的安裝和使用方法。

---

 案例目的

1. 熟悉Linux系統、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系統和軟件的安裝和使用；
2. 了解大數據處理的基本流程；
3. 熟悉數據預處理方法；
4. 熟悉在不同類型數據庫之間進行數據相互導入導出；
5. 熟悉使用R語言進行可視化分析；
6. 熟悉使用Elipse編寫Java程序操作HBase數據庫。

---

硬件要求

　　本案例可以在單機上完成，也可以在集群環境下完成。

　　單機上完成本案例實驗時，建議計算機硬件配置為：500GB以上硬盤，8GB以上內存。

---

 軟件工具　

　　本案例所涉及的系統及軟件

1. Linux系統
2. MySQL
3. Hadoop
4. HBase
5. Hive
6. Sqoop
7. R
8. Eclipse

 

 

 

 

 

 

---

數據集

　　網站用戶購物行為數據集2000萬條記錄。

---

案例任務

1. 安裝Linux操作系統
2. 安裝關系型數據庫MySQL
3. 安裝大數據處理框架Hadoop
4. 安裝列族數據庫HBase
5. 安裝數據倉庫Hive
6. 安裝Sqoop
7. 安裝R
8. 安裝Eclipse
9. 對文本文件形式的原始數據集進行預處理
10. 把文本文件的數據集導入到數據倉庫Hive中
11. 對數據倉庫Hive中的數據進行查詢分析
12. 使用Sqoop將數據從Hive導入MySQL
13. 使用Sqoop將數據從MySQL導入HBase
14. 使用HBase Java API把數據從本地導入到HBase中
15. 使用R對MySQL中的數據進行可視化分析