Python寫網絡爬蟲爬取騰訊新聞內容

最近學了一段時間的Python，想寫個爬蟲，去網上找了找，然后參考了一下自己寫了一個爬取給定頁面的爬蟲。

Python的第三方庫特別強大，提供了兩個比較強大的庫，一個requests, 另外一個BeautifulSoup，這兩個庫目前只是會用，其他的還不太了解，網上給了一個BeautifulSoup文檔的鏈接，特別方便，不會的直接查(中文版的)，還有一個關於requests的。

在使用這些第三方庫之前要導入

 

import requests
from bs4 import BeautifulSoup

 

 

 

寫這個爬蟲首先要獲得該網頁的html代碼，然后用BeautifulSoup庫進行解析，然后再分析一下騰訊新聞的html結構

這個是獲取網頁的html，為了方便使用，將它封裝成一個函數

 

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        #r.encoding = 'utf-8'
        return r.text
    except:
        return ""

 

其中，raise_for_status()方法在非成功時產生一個異常，即只要返回的請求代碼狀態status_code不是200，就產生一個異常

現在分析一下騰訊新聞的html結構

在chrome瀏覽器下，直接進去新聞之后，右鍵題目檢查就可以定位到題目所在的html代碼，如下圖

 

然后會看到<h1>標簽內，它的上一級標簽是div，並且class="hd"，BeautifulSoup提供了一個CSS選擇器，直接調用select方法即可，具體怎么用請查看文檔，文檔部分如圖：

 

 

所以代碼就可以寫

 

def getContent(url):
    html = getHTMLText(url)
    # print(html)
    soup = BeautifulSoup(html, "html.parser")
    title = soup.select("div.hd > h1")
    print(title[0].get_text())
    time = soup.select("div.a_Info > span.a_time")
    print(time[0].string)
    author = soup.select("div.qq_articleFt > div.qq_toolWrap > div.qq_editor")
    print(author[0].get_text())
    paras = soup.select("div.Cnt-Main-Article-QQ > p.text")
    for para in paras:
        if len(para) > 0:
            print(para.get_text())
            print()

 

其中select返回的是一個列表，所以打印的時候要有下標元素，由於段落是有多個段，所以要用for循環把他們依次取出來

關於select的用法，還是文檔講的比較詳細

完整代碼如下（爬取http://news.qq.com/a/20170504/012032.htm網頁新聞，並保存到文件中）

#此代碼主要是從給定騰訊新聞網頁中爬取新聞的題目，時間，正文，作者
import requests
from bs4 import BeautifulSoup
def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        #r.encoding = 'utf-8'
        return r.text
    except:
        return ""
def getContent(url):
    html = getHTMLText(url)
    # print(html)
    soup = BeautifulSoup(html, "html.parser")
    title = soup.select("div.hd > h1")
    print(title[0].get_text())
    time = soup.select("div.a_Info > span.a_time")
    print(time[0].string)
    author = soup.select("div.qq_articleFt > div.qq_toolWrap > div.qq_editor")
    print(author[0].get_text())
    paras = soup.select("div.Cnt-Main-Article-QQ > p.text")
    for para in paras:
        if len(para) > 0:
            print(para.get_text())
            print()
    #寫入文件
    fo = open("text.txt", "w+")
    fo.writelines(title[0].get_text() + "\n")
    fo.writelines(time[0].get_text() + "\n")
    for para in paras:
        if len(para) > 0:
            fo.writelines(para.get_text() + "\n\n")
    fo.writelines(author[0].get_text() + '\n')
    fo.close()
    #將爬取到的文章用字典格式來存
    article = {
        'Title' : title[0].get_text(),
        'Time' : time[0].get_text(),
        'Paragraph' : paras,
        'Author' : author[0].get_text()
    }
    print(article)
def main():
    url = "http://news.qq.com/a/20170504/012032.htm"
    getContent(url);
main()