數據分析重要步驟：
1.數據獲取
可以進行人工收集獲取部分重要數據
可以在各個數據庫中導出數據
使用Python的爬蟲等技術
2.數據整理
從數據庫、文件中提取數據，生成DataFrame對象
采用pandas庫讀取文件
3.數據處理
數據准備：
對DataFrame對象（多個）進行組裝、合並等操作
pandas操作
數據轉化：
類型轉化、分類（面元等）、異常值檢測、過濾等
pandas庫的操作
數據聚合：
分組（分類）、函數處理、合並成新的對象
pandas庫的操作
4.數據可視化
將pandas的數據結構轉化為圖表的形式
matplotlib庫
5.預測模型的創建和評估
數據挖掘的各種算法：
關聯規則挖掘、回歸分析、聚類、分類、時序挖掘、序列模式挖掘等
6.部署（得出結果）
從模型和評估中獲得知識
知識的表示形式：規則、決策樹、知識基、網絡權值
原網址：https://blog.csdn.net/qq_35187510/article/details/80078143
爬取網頁數據步驟：
簡介：
（1）網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者）：
是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。其實通俗的講就是通過程序去獲取web頁面上自己想要的數據，也就是自動抓取數據。
（2）爬蟲可以做什么？
你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數據，只要你能通過瀏覽器訪問的數據都可以通過爬蟲獲取。當你在瀏覽器中輸入地址后，經過DNS服務器找到服務器主機，向服務器發送一個請求，服務器經過解析后發送給用戶瀏覽器結果，包括html,js,css等文件內容，瀏覽器解析出來最后呈現給用戶在瀏覽器上看到的結果
所以用戶看到的瀏覽器的結果就是由HTML代碼構成的，我們爬蟲就是為了獲取這些內容，通過分析和過濾html代碼，從中獲取我們想要資源。
頁面獲取
1.根據URL獲取網頁
- URL處理模塊（庫）
import urllib.request as req - 創建一個表示遠程url的類文件對象
req.urlopen(' ') - 如同本地文件一樣讀取內容
import urllib.request as req # 根據URL獲取網頁： #http://www.hbnu.edu.cn/湖北師范大學 url = 'http://www.hbnu.edu.cn/' webpage = req.urlopen(url) # 按照類文件的方式打開網頁 # 讀取網頁的所有數據,並轉換為uft-8編碼 data = webpage.read().decode('utf-8') print(data)
2.網頁數據存入文件
#將網頁爬取內容寫入文件 import urllib.request url = "http://www.hbnu.edu.cn/" responces = urllib.request.urlopen(url) html = responces.read() html = html.decode('utf-8') fileOb = open('C://Users//ALICE//Documents//a.txt','w',encoding='utf-8') fileOb.write(html) fileOb.close()
此時我們從網頁中獲取的數據已保存在我們指定的文件里，如下圖所示：
網頁獲取
從圖中可以看出，網頁的所有數據都存到了本地，但是我們需要的數據大部分都是文字或者數字信息，而代碼對我們來說並沒有用處。那么我們接下來要做的是清除沒用的數據。
之后需要數據清洗，接下來的請聽下回分解。