python3實踐-從網站獲取數據(Carbon Market Data-GD) （bs4/Beautifulsoup）

 

結合個人需求，從某個網站獲取一些數據，發現網頁鏈接是隱藏的，需要通過瀏覽器看后面的代碼來獲取真實的鏈接。

下面這個案例，直接是從真實的鏈接中爬去數據。

此外，發現用pandas的read_html不能直接解析“lxml”的表格，有待后續研究。

 

另外，爬去的數據發現有很多空格符號，主要是 "\r"、"\n"、"\t"，

字符串的去除 "\r"、"\n"、"\t" 的方法也一並添加在這個案例中。

具體代碼如下：

# Code based on Python 3.x
# _*_ coding: utf-8 _*_
# __Author: "LEMON"


from bs4 import BeautifulSoup
import requests
import csv

url2 = 'http://ets.cnemission.com/carbon/portalIndex/markethistory?Top=1'

req = requests.get(url2)
# soup = BeautifulSoup(req.content, 'html5lib')
soup = BeautifulSoup(req.content, 'lxml')
# 用“lxml”解析，可以獲得數據，但csv文件中每行有空行

table = soup.table
trs = table.find_all('tr')

list1 = []
for tr in trs:
    td = tr.find_all('td')

    # 去除每個單元格數據后面的"\r"和"\n"和"\t"，
    # 下面兩種方法都可以生成csv文件，
    # 但method1生成的csv文件較小，應該是優化性能較好，暫時不明白其中原理
    # method1
    row = [i.text.replace('\r', '').replace('\n', '').replace('\t', '') for i in td]
    # method 2
    # row = [i.text.replace('\r\n\t', '') for i in td]

    list1.append(row)

with open('MktDataGuangdong.csv', 'a', errors='ignore', newline='') as f:
    f_csv = csv.writer(f)
    f_csv.writerows(list1)