10行代碼爬取全國所有A股/港股/新三板上市公司信息

摘要： 我們平常在瀏覽網頁中會遇到一些表格型的數據信息，除了表格本身體現的內容以外，可能還想透過表格背后再挖掘些有意思或者有價值的信息。這時，可用python爬蟲來實現。本文采用pandas庫中的read_html方法來快速准確地抓取網頁中的表格數據。

由於本文中含有一些超鏈接，微信中無法直接打開，所以建議點擊最左下角閱讀原文閱讀，體驗更好，也可以復制鏈接到瀏覽器打開：

https://www.makcyun.top/web_scraping_withpython2.html

本文知識點：

• Table型表格抓取

• DataFrame.read_html函數使用

• MySQL數據庫存儲

• Navicat數據庫的使用

1. table型表格

我們在網頁上會經常看到這樣一些表格，比如：
QS2018世界大學排名：
uploading-image-522548.png

財富世界500強企業排名：
uploading-image-571806.png

IMDB世界電影票房排行榜：
uploading-image-38035.png

中國A股上市公司信息：
uploading-image-513503.png

它們除了都是表格以外，還一個共同點就是當點擊右鍵-定位時，可以看到它們都是table類型的表格。
uploading-image-686147.png

uploading-image-65402.png

uploading-image-862581.png

uploading-image-726051.png

從中可以看到table類型的表格網頁結構大致如下：

 1<table class="..." id="...">
 2    <thead>
 3    <tr>
 4    <th>...</th>
 5    </tr>
 6    </thead>
 7    <tbody>
 8        <tr>
 9            <td>...</td>
10        </tr>
11        <tr>...</tr>
12        <tr>...</tr>
13        <tr>...</tr>
14        <tr>...</tr>
15        ...
16        <tr>...</tr>
17        <tr>...</tr>
18        <tr>...</tr>
19        <tr>...</tr>        
20    </tbody>
21</table>

先來簡單解釋一下上文出現的幾種標簽含義：

1<table>    : 定義表格
2<thead>    : 定義表格的頁眉
3<tbody>    : 定義表格的主體
4<tr>    : 定義表格的行
5<th>    : 定義表格的表頭
6<td>    : 定義表格單元

這樣的表格數據，就可以利用pandas模塊里的read_html函數方便快捷地抓取下來。下面我們就來操作一下。

2. 快速抓取

下面以中國上市公司信息這個網頁中的表格為例，感受一下read_html函數的強大之處。

1import pandas as pd
2import csv
3
4for i in range(1,178):  # 爬取全部177頁數據
5    url = 'http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=%s' % (str(i))
6    tb = pd.read_html(url)[3] #經觀察發現所需表格是網頁中第4個表格，故為[3]
7    tb.to_csv(r'1.csv', mode='a', encoding='utf_8_sig', header=1, index=0)
8    print('第'+str(i)+'頁抓取完成')

uploading-image-806178.png

只需不到十行代碼，1分鍾左右就可以將全部178頁共3535家A股上市公司的信息干凈整齊地抓取下來。比采用正則表達式、xpath這類常規方法要省心省力地多。如果采取人工一頁頁地復制粘貼到excel中，就得操作到猴年馬月去了。
上述代碼除了能爬上市公司表格以外，其他幾個網頁的表格都可以爬，只需做簡單的修改即可。因此，可作為一個簡單通用的代碼模板。但是，為了讓代碼更健壯更通用一些，接下來，以爬取177頁的A股上市公司信息為目標，講解一下詳細的代碼實現步驟。

3. 詳細代碼實現

3.1. read_html函數

先來了解一下read_html函數的api:

 1pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, tupleize_cols=None, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)
 2
 3常用的參數：
 4io:可以是url、html文本、本地文件等；
 5flavor：解析器；
 6header：標題行；
 7skiprows：跳過的行；
 8attrs：屬性，比如 attrs = {'id': 'table'}；
 9parse_dates：解析日期
10
11注意：返回的結果是**DataFrame**組成的**list**。

參考：

1 http://pandas.pydata.org/pandas-docs/stable/io.html#io-read-html
2 http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_html.html

3.2. 分析網頁url
首先，觀察一下中商情報網第1頁和第2頁的網址：

1 http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=1#QueryCondition
2 http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=2#QueryCondition

可以發現，只有pageNum的值隨着翻頁而變化，所以基本可以斷定pageNum=1代表第1頁，pageNum=10代表第10頁，以此類推。這樣比較容易用for循環構造爬取的網址。
試着把#QueryCondition刪除，看網頁是否同樣能夠打開，經嘗試發現網頁依然能正常打開，因此在構造url時，可以使用這樣的格式：
http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=i
再注意一下其他參數：
a：表示A股，把a替換為h，表示港股；把a替換為xsb，則表示新三板。那么，在網址分頁for循環外部再加一個for循環，就可以爬取這三個股市的股票了。

3.3. 定義函數

將整個爬取分為網頁提取、內容解析、數據存儲等步驟，依次建立相應的函數。

 1# 網頁提取函數
 2def get_one_page(i):
 3    try:
 4        headers = {
 5            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
 6        }
 7        paras = {
 8        'reportTime': '2017-12-31',   
 9        #可以改報告日期，比如2018-6-30獲得的就是該季度的信息
10        'pageNum': i   #頁碼
11        }
12        url = 'http://s.askci.com/stock/a/?' + urlencode(paras)
13        response = requests.get(url,headers = headers)
14        if response.status_code == 200:
15            return response.text
16        return None
17    except RequestException:
18        print('爬取失敗')
19
20# beatutiful soup解析然后提取表格
21def parse_one_page(html):
22    soup = BeautifulSoup(html,'lxml')
23    content = soup.select('#myTable04')[0] #[0]將返回的list改為bs4類型
24    tbl = pd.read_html(content.prettify(),header = 0)[0]
25    # prettify()優化代碼,[0]從pd.read_html返回的list中提取出DataFrame
26
27    tbl.rename(columns = {'序號':'serial_number', '股票代碼':'stock_code', '股票簡稱':'stock_abbre', '公司名稱':'company_name', '省份':'province', '城市':'city', '主營業務收入(201712)':'main_bussiness_income', '凈利潤(201712)':'net_profit', '員工人數':'employees', '上市日期':'listing_date', '招股書':'zhaogushu', '公司財報':'financial_report', '行業分類':'industry_classification', '產品類型':'industry_type', '主營業務':'main_business'},inplace = True)
28
29    print(tbl)
30    # return tbl
31    # rename將表格15列的中文名改為英文名，便於存儲到mysql及后期進行數據分析
32    # tbl = pd.DataFrame(tbl,dtype = 'object') #dtype可統一修改列格式為文本
33
34# 主函數
35def main(page):
36    for i in range(1,page):   # page表示提取頁數
37        html = get_one_page(i)
38        parse_one_page(html)
39
40# 單進程
41if __name__ == '__main__':    
42    main(178)   #共提取n頁

上面兩個函數相比於快速抓取的方法代碼要多一些，如果需要抓的表格很少或只需要抓一次，那么推薦快速抓取法。如果頁數比較多，這種方法就更保險一些。解析函數用了BeautifulSoup和css選擇器，這種方法定位提取表格所在的id為#myTable04的table代碼段，更為准確。

3.4. 存儲到MySQL

接下來，我們可以將結果保存到本地csv文件，也可以保存到MySQL數據庫中。這里為了練習一下MySQL，因此選擇保存到MySQL中。

首先，需要先在數據庫建立存放數據的表格，這里命名為listed_company。代碼如下：

 1 import pymysql
 2
 3 def generate_mysql():
 4    conn = pymysql.connect(
 5        host='localhost',   # 本地服務器
 6        user='root',
 7        password='******',  # 你的數據庫密碼
 8        port=3306,          # 默認端口
 9        charset = 'utf8',
10        db = 'wade')
11    cursor = conn.cursor()
12
13    sql = 'CREATE TABLE IF NOT EXISTS listed_company2 (serial_number INT(30) NOT NULL,stock_code INT(30) ,stock_abbre VARCHAR(30) ,company_name VARCHAR(30) ,province VARCHAR(30) ,city VARCHAR(30) ,main_bussiness_income VARCHAR(30) ,net_profit VARCHAR(30) ,employees INT(30) ,listing_date DATETIME(0) ,zhaogushu VARCHAR(30) ,financial_report VARCHAR(30) , industry_classification VARCHAR(255) ,industry_type VARCHAR(255) ,main_business VARCHAR(255) ,PRIMARY KEY (serial_number))'
14    # listed_company是要在wade數據庫中建立的表，用於存放數據
15
16    cursor.execute(sql)
17    conn.close()
18
19 generate_mysql()

上述代碼定義了generate_mysql()函數，用於在MySQL中wade數據庫下生成一個listed_company的表。表格包含15個列字段。根據每列字段的屬性，分別設置為INT整形（長度為30）、VARCHAR字符型(長度為30) 、DATETIME(0) 日期型等。
在Navicat中查看建立好之后的表格：

uploading-image-471134.png

uploading-image-54744.png

接下來就可以往這個表中寫入數據，代碼如下：

 1 import pymysql
 2 from sqlalchemy import create_engine
 3
 4 def write_to_sql(tbl, db = 'wade'):
 5    engine = create_engine('mysql+pymysql://root:******@localhost:3306/{0}?charset=utf8'.format(db))
 6    # db = 'wade'表示存儲到wade這個數據庫中,root后面的*是密碼
 7    try:
 8        tbl.to_sql('listed_company',con = engine,if_exists='append',index=False)
 9        # 因為要循環網頁不斷數據庫寫入內容，所以if_exists選擇append，同時該表要有表頭，parse_one_page（）方法中df.rename已設置
10    except Exception as e:
11        print(e)

以上就完成了單個頁面的表格爬取和存儲工作，接下來只要在main()函數進行for循環，就可以完成所有總共178頁表格的爬取和存儲，完整代碼如下：

1import requests
 2import pandas as pd
 3from bs4 import BeautifulSoup
 4from lxml import etree
 5import time
 6import pymysql
 7from sqlalchemy import create_engine
 8from urllib.parse import urlencode  # 編碼 URL 字符串
 9
10start_time = time.time()  #計算程序運行時間
11
12def get_one_page(i):
13    try:
14        headers = {
15            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
16        }
17        paras = {
18        'reportTime': '2017-12-31',
19        #可以改報告日期，比如2018-6-30獲得的就是該季度的信息
20        'pageNum': i   #頁碼
21        }
22        url = 'http://s.askci.com/stock/a/?' + urlencode(paras)
23        response = requests.get(url,headers = headers)
24        if response.status_code == 200:
25            return response.text
26        return None
27    except RequestException:
28        print('爬取失敗')
29
30
31def parse_one_page(html):
32    soup = BeautifulSoup(html,'lxml')
33    content = soup.select('#myTable04')[0] #[0]將返回的list改為bs4類型
34    tbl = pd.read_html(content.prettify(),header = 0)[0]
35    # prettify()優化代碼,[0]從pd.read_html返回的list中提取出DataFrame
36    tbl.rename(columns = {'序號':'serial_number', '股票代碼':'stock_code', '股票簡稱':'stock_abbre', '公司名稱':'company_name', '省份':'province', '城市':'city', '主營業務收入(201712)':'main_bussiness_income', '凈利潤(201712)':'net_profit', '員工人數':'employees', '上市日期':'listing_date', '招股書':'zhaogushu', '公司財報':'financial_report', '行業分類':'industry_classification', '產品類型':'industry_type', '主營業務':'main_business'},inplace = True)
37
38    # print(tbl)
39    return tbl
40    # rename將中文名改為英文名，便於存儲到mysql及后期進行數據分析
41    # tbl = pd.DataFrame(tbl,dtype = 'object') #dtype可統一修改列格式為文本
42
43def generate_mysql():
44    conn = pymysql.connect(
45        host='localhost',
46        user='root',
47        password='******',
48        port=3306,
49        charset = 'utf8',  
50        db = 'wade')
51    cursor = conn.cursor()
52
53    sql = 'CREATE TABLE IF NOT EXISTS listed_company (serial_number INT(20) NOT NULL,stock_code INT(20) ,stock_abbre VARCHAR(20) ,company_name VARCHAR(20) ,province VARCHAR(20) ,city VARCHAR(20) ,main_bussiness_income VARCHAR(20) ,net_profit VARCHAR(20) ,employees INT(20) ,listing_date DATETIME(0) ,zhaogushu VARCHAR(20) ,financial_report VARCHAR(20) , industry_classification VARCHAR(20) ,industry_type VARCHAR(100) ,main_business VARCHAR(200) ,PRIMARY KEY (serial_number))'
54    # listed_company是要在wade數據庫中建立的表，用於存放數據
55
56    cursor.execute(sql)
57    conn.close()
58
59
60def write_to_sql(tbl, db = 'wade'):
61    engine = create_engine('mysql+pymysql://root:******@localhost:3306/{0}?charset=utf8'.format(db))
62    try:
63        # df = pd.read_csv(df)
64        tbl.to_sql('listed_company2',con = engine,if_exists='append',index=False)
65        # append表示在原有表基礎上增加，但該表要有表頭
66    except Exception as e:
67        print(e)
68
69
70def main(page):
71    generate_mysql()
72    for i in range(1,page):  
73        html = get_one_page(i)
74        tbl = parse_one_page(html)
75        write_to_sql(tbl)
76
77# # 單進程
78if __name__ == '__main__':    
79    main(178)
80
81    endtime = time.time()-start_time
82    print('程序運行了%.2f秒' %endtime)
83
84
85# 多進程
86# from multiprocessing import Pool
87# if __name__ == '__main__':
88#     pool = Pool(4)
89#     pool.map(main, [i for i in range(1,178)])  #共有178頁
90
91#     endtime = time.time()-start_time
92#     print('程序運行了%.2f秒' %(time.time()-start_time))

最終，A股所有3535家企業的信息已經爬取到mysql中，如下圖：
uploading-image-363968.png

除了A股，還可以順便再把港股和新三板所有的上市公司也爬了。后期，將會對爬取的數據做一下簡單的數據分析。

最后，需說明不是所有表格都可以用這種方法爬取，比如這個網站中的表格，表面是看起來是表格，但在html中不是前面的table格式，而是list列表格式。這種表格則不適用read_html爬取。得用其他的方法，比如selenium，以后再進行介紹。

uploading-image-737366.png

本文完。

來源於https://mp.weixin.qq.com/s/kE5LU_8UDPgxv1v4rw9sbA