數據分析由三大重要部分組成:
1.數據采集。它是我們的原材料,因為任何分析都是需要數據源;
2.數據挖掘。它可以說是最“高大上”的部分,也是整個商業價值所在。數據挖掘的核心是挖掘數據的商業價值,也就是我們所談的商業智能BI
3.數據可視化。它可以說是數據領域中萬金油的技能,可以讓我們直觀的了解到分析數據的結果。
下面總結詳解這三大部分的內容:
一 數據采集
采集工具:八爪魚,自動抓取的神器,它可以幫你抓取 99% 的頁面源。
python爬蟲:可編寫,采集,存儲數據,以及自動化采集設計。
二數據挖掘
它可以說是知識型的工程,相當於整個專欄中的“算法”部分。首先要知道他的基本流程,算法,以及底層的數學基礎。
基本流程:商業理解,數據理解,數據准備,模型建立,模型評估,上線發布
算法:分類算法,聚類算法,關聯分析,連接分析
數學基礎:概率論和數據統計,線性代數,圖論,最優化方法
三數據可視化
當數據量大的時候很難理解,可視化可以幫我們很好地理解這些數據的結構,以及分析結果的視覺呈現。
數據可視化有兩種方法(並不是全部):
1.python第三方庫:Matplotlib,Seaborn等
2.第三方工具:如果生成了csv格式文件,想要采用所見即得的方式進行呈現,可以采用微圖,DataV,Data GIF Maker等第三方工具。