數據分析

數據分析的概念

 什么是數據分析

　　就是從現有的數據中挖掘出價值

數據分析應用領域

　　商品推薦

　　　　eg：在淘寶上搜索了一款產品之后，接下來就會瘋狂給你推薦相關產品

　　量化交易

　　　　股票，期貨等數據分析

　　短視頻推送

　　　　抖音，今日頭條等短視頻

（數據分析絕對是未來所有公司不可或缺的崗位，目前社會上獲取數據方法太多了，這么多數據，只要我們擁有數據分析的技能，絕對可以應付任何崗位上的工作）

為什么數據分析需要學python

　　python簡單易學，並且是數據分析必備的語言

數據分析的工作流程

以下工作流程是一般情況下常見流程，也有可能會出現偏差

1.需求分析

　　搞明白到底要分析什么數據，以什么方式分析，想要什么樣的結果

2.數據采集

　　數據的來源

　　　　1.公司內部自帶

　　　　　　直接調用即可　　MySQL MongoDB

　　　　2.網絡爬蟲獲取

　　　　　　需要編寫代碼　　爬蟲相關技能

　　　　3.第三方服務

　　　　　　花錢直接購買　　鈔能力

3.數據清理

　　針對獲取到的數據還需要效驗是否符合分析條件

　　　　缺失數據，異常數據...

4.數據分析

　　選擇相應的計算公式，算法模型分析數據

5.生成數據分析報告

　　撰寫分析報告並給出分析之后的規律及建議

6.數據可視化

　　將復雜的數據用圖表的形式展示出來，便於查看相應規律

　　數據可視化一般是結合數據分析報告一起

數據分析三劍客簡介

numpy

　　數學計算模塊　　該模塊是很多計算模塊的底層模塊

pandas

　　數據分析最為核心的模塊之一　　主要用於操作excel表格

（既然excel軟件可以非常輕松快捷的操作表格，為什么還需要學pandas

當表格的數據低於10萬行的時候采取excel軟件操作方便

但是數據高於10萬行之后使用excel軟件就會出現卡頓不方便

所以pandas模塊能夠解決數據量較大的情況下的處理操作）

matplotlib

　　數據可視化

ipython模塊

在cmd終端中可以編寫python代碼，但是存在以下缺陷

　　1.代碼沒有提示

　　2.代碼不會自動縮進

　　3.通篇一個顏色過於單調

在cmd中編寫代碼是否可以解決掉上面多個缺陷

　　pip3 install ipython

打開cmd之后直接輸入ipython進入全新的編程環境

　　1.代碼有提示

　　2.代碼自動縮進

　　3.通篇顏色不單調

jupyter模塊

pip3 install jupyter

 

命令行輸入jupyter notebook即可

　　會自動調用當前計算機默認的瀏覽器打開一個界面

　　如果你調用了非默認瀏覽器訪問地址需要輸入一個token值，在啟動服務的展示信息中含有

　　打開的界面取決於終端輸入jupyer notebook命令的左側路徑

 

右上方功能區域

　　upload用於上傳任意類型的文件

　　new下拉框

　　　　python3用於創建notebook文件

　　　　Text File用於創建文本文件

　　　　Folder用於創建文件夾

　　　　Terminal用於模擬cmd終端

 

notebook文件的后綴名是.ipynb 該文件無法以正常的雙擊直接打開

需要使用專門的notebook環境才可以打開並且查看內部的真實數據

　　以后看到該類型的文件就使用jupyter notebook打開

（其實該模塊就可以進行數據分析相關的工作，但是有一個非常大的缺憾，就是數據分析過程中需要使用到的其他模塊都需要自己下載

　　並且跟數據分析相關的模塊不下於200個）

Anaconda軟件

（內部集成了很多數據分析相關軟件及功能，並且自動下載了接近300個數據分析相關模塊）

去官網下載安裝完成之后並不會在界面上生成圖標，第一次需要自己搜索打開

　　點擊電腦左下方放大鏡搜索anaconda navigator點擊啟動即可

 

 

左側菜單欄

 

　　Home

　　　　主要是一些已經准備好的軟件，有直接可以使用和下載即可使用

　　Environments

　　　　里面主要包括數據分析相關的模塊

　　Learning

　　　　里面含有大量的技術教程

　　Community

　　　　里面含有大量技術交流平台

Jupyter Notebook詳細操作

（主界面點擊jupyter notebook之后無法呼起瀏覽器打開界面的原因在於

　　你的計算機名詞含有中文）

單詞

　　cell　　單元格

　　cut　　剪切

　　copy　　拷貝

　　paste　　黏貼

　　above　　在...上面

　　below　　在...下面

　　replace　　替換

　　delete　　刪除

　　undo　　撤銷

　　split　　切割

　　merge　　合並

 

命令行模式與編輯模式

　　藍色對應的是命令行模式，綠色對應的是編輯模式

　　兩種模式的切換

　　　　編輯模式切換到命令行模式　　按esc鍵

　　　　命令行模式切換到編輯模式　　鼠標左鍵點擊即可

 

1.運行當前單元格

　　ctrl+enter

2.運行當前單元格並選中下方的單元格

　　shift+enter

3.如何書寫md格式的標題

　　方式1：命令行模式下按m鍵，之后按照#個數書寫幾級標簽執行即可

　　方式2：編輯模式下先寫文本，之后進入命令行模式按數字來控制幾級標題

4.如何在當前單元格的下方新建一個單元格

　　命令行模式下按b鍵

5.如何在當前單元格的上方新建一個單元格

　　命令行模式下按a鍵

6.如何刪除單元格

　　命令行模式下連續按兩下d鍵

7.如何撤銷刪除

　　命令行模式下按z鍵