爬蟲實現股票分析（二）

上一個帖子，已經用python 把我們需要的股票信息從東方財富網給下載到本地了，這一次講的是怎么把這些數據入庫

准備知識： pandas庫，pymysql庫，mysql數據庫軟件

我采用的是mysql數據庫，之前的帖子  https://www.cnblogs.com/effortscodepanda/p/7631722.html  講了怎么在windows下安裝mysql，如果忘記安裝過的話，打開服務看有沒有mysql即可，打開方式  wiindows + R 鍵，然后輸入 services.msc即可

安裝過的話，登陸即會出現以下界面：

 然后安裝三方庫：pymysql

pip install pymysql  ----python 在有 pip工具的情況下，下載三方庫和其他功能模塊非常方便，不得不吐槽一下c++，哈哈

 

然后安裝pandas，方法同樣的：

pip install pandas

不過報錯了，遇到了如下的錯誤：No matching distribution found for pandas

pip install numpy   --失敗
python -m pip install --upgrade pip --失敗

pip install --upgrade pip –vvv  --查找錯誤原因 -失敗
python -m pip install -U --force-reinstall pip --失敗

pip install anaconda3

pip install -i https://pypi.douban.com/simple pandas   --成功！！！！

無力吐槽，windows安裝一下各種失敗

最終也不是完全成功，不過驗證，pandas庫可用，有時候借鑒別人開源代碼也是很快的：

#導入需要使用到的模塊
import urllib
import urllib.request
import re
import os
import pandas as pd
import pymysql

##########################將股票數據存入數據庫###########################
filepath = 'D:\\data\\python\\stock\\'#定義數據文件保存路徑

#數據庫名稱和密碼
name = 'root'
password = 'Test_123'  #替換為自己的賬戶名和密碼
#建立本地數據庫連接(需要先開啟數據庫服務)
db = pymysql.connect('localhost', name, password, charset='utf8')
cursor = db.cursor()
#創建數據庫stockDataBase
sqlSentence1 = "create database stockDataBase"
cursor.execute(sqlSentence1)#選擇使用當前數據庫
sqlSentence2 = "use stockDataBase;"
cursor.execute(sqlSentence2)

#獲取本地文件列表
fileList = os.listdir(filepath)
#依次對每個數據文件進行存儲
for fileName in fileList:
    data = pd.read_csv(filepath+fileName, encoding="gbk")
   #創建數據表，如果數據表已經存在，會跳過繼續執行下面的步驟print('創建數據表stock_%s'% fileName[0:6])
    sqlSentence3 = "create table stock_%s" % fileName[0:6] + "(日期 date, 股票代碼 VARCHAR(10),     名稱 VARCHAR(10),\
                       收盤價 float,    最高價    float, 最低價 float, 開盤價 float, 前收盤 float, 漲跌額    float, \
                       漲跌幅 float, 換手率 float, 成交量 bigint, 成交金額 bigint, 總市值 bigint, 流通市值 bigint)"
    cursor.execute(sqlSentence3)


    #迭代讀取表中每行數據，依次存儲（整表存儲還沒嘗試過）
    print('正在存儲stock_%s'% fileName[0:6])
    length = len(data)
    for i in range(0, length):
        record = tuple(data.loc[i])
        #插入數據語句
        try:
            sqlSentence4 = "insert into stock_%s" % fileName[0:6] + "(日期, 股票代碼, 名稱, 收盤價, 最高價, 最低價, 開盤價, 前收盤, 漲跌額, 漲跌幅, 換手率, \
            成交量, 成交金額, 總市值, 流通市值) values ('%s',%s','%s',%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)" % record
            #獲取的表中數據很亂，包含缺失值、Nnone、none等，插入數據庫需要處理成空值
            sqlSentence4 = sqlSentence4.replace('nan','null').replace('None','null').replace('none','null') 
            cursor.execute(sqlSentence4)
        except:
            #如果以上插入過程出錯，跳過這條數據記錄，繼續往下進行
            break

#關閉游標，提交，關閉數據庫連接
cursor.close()
db.commit()
db.close()


###########################查詢剛才操作的成果##################################

#重新建立數據庫連接
db = pymysql.connect('localhost', name, password, 'stockDataBase')
cursor = db.cursor()
#查詢數據庫並打印內容
cursor.execute('select * from stock_600000')
results = cursor.fetchall()
for row in results:
    print(row)
#關閉
cursor.close()
db.commit()
db.close()

 最終跑完之后，查詢為空，一度以為是識別不了中文，但是查數據可見：

表是建成功的，因此就是：

#迭代讀取表中每行數據，依次存儲（整表存儲還沒嘗試過）
    print('正在存儲stock_%s'% fileName[0:6])
    length = len(data)
    for i in range(0, length):
        record = tuple(data.loc[i])
        #插入數據語句
        try:
            sqlSentence4 = "insert into stock_%s" % fileName[0:6] + "(日期, 股票代碼, 名稱, 收盤價, 最高價, 最低價, 開盤價, 前收盤, 漲跌額, 漲跌幅, 換手率, \
            成交量, 成交金額, 總市值, 流通市值) values ('%s',%s','%s',%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)" % record
            #獲取的表中數據很亂，包含缺失值、Nnone、none等，插入數據庫需要處理成空值
            sqlSentence4 = sqlSentence4.replace('nan','null').replace('None','null').replace('none','null') 
            cursor.execute(sqlSentence4)
        except:
            #如果以上插入過程出錯，跳過這條數據記錄，繼續往下進行
            break

 

這一塊代碼出錯，下一章節講的就是調試代碼了

 

寫代碼的小熊貓~：）