這學期學了一門Spark課程《大數據處理技術Spark》，把期末大作業放上來。
實驗環境：
（1）Linux：Ubuntu 16.04
（2）Hadoop：3.1.3
（3）Spark：2.4.0
（4）Anaconda3
（5）Jupyter Notebook
（6）可視化工具：Plotly
想找一個能正常在jupyter上畫地圖的工具真是太難了。嘗試了各種安裝basemap的姿勢都失敗了，pyecharts又抽風不能在jupyter上顯示。
最后選擇了plotly，不得不說plotly.express真香，很好上手。但是要使用其他形式的地圖時老是加載不出來，算是這次作業的一個遺憾。
具體博客內容看這里：
http://dblab.xmu.edu.cn/blog/2651/