我的第一次Python爬蟲——獲取自己博客園的所有文章

最近在學 python 爬蟲，所以拿自己的博客開刀，作為一次簡單的 Python 爬蟲實踐。

 

Python 爬蟲腳本的功能：

1、獲得所有的文章標題和地址；

2、獲得右側公告欄里的個人信息。

 

運行的結果

先打印公告中的個人信息和文章的總數，接着列出所有的文章。截圖只是開頭的一部分。

 

這個腳本有什么用呢？

備份。以前我使用網上的軟件備份自己QQ空間的日志，需要在軟件上登錄自己的賬號，風險很大。

 

源碼[get_articles_from_cnblogs.py]:

#!/usr/bin/env python3.5
# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup
import requests
import re

name = 'artech'
my_cnbolgs = 'http://www.cnblogs.com/' + name

#文章列表，每個元素都是字典，格式：{'title':aaa, 'url':bbb}
article_list = []


def get_articles(name):
    page = get_total_pages_v2(name)    #獲得總頁數
    for i in range(1, page+1):
        url = 'http://www.cnblogs.com/{}/default.html?page={}'.format(name,i)
        get_one_page_articles(url)


def get_one_page_articles(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')
    articles = soup.select('a.postTitle2')

    for article in articles:
        data = {
            'title':article.get_text(),
            'url':article.get('href')
        }
        article_list.append(data)
    return article_list


# get_total_pages方法只是截取一個字符，文章頁數不能超過9頁
def get_total_pages(name):
    url  = 'http://www.cnblogs.com/{}/default.html?page=2'.format(name)
    web  = requests.get(url)
    soup = BeautifulSoup(web.text,'lxml')
    page = soup.select('div.pager')
    num  = page[1].get_text()[4:5]  #總頁數，是個字符
    return int(num)


def get_total_pages_v2(name):
    url  = 'http://www.cnblogs.com/{}/default.html?page=2'.format(name)
    web  = requests.get(url)
    soup = BeautifulSoup(web.text,'lxml')
    page = soup.select('div.pager')
    num  = page[1].get_text()[4:5]

##    print(page[1].get_text())
    SEARCH_PAT = re.compile(r'\d+')
    pat_search = SEARCH_PAT.search(page[1].get_text())
    if pat_search != None:
##        print(pat_search.group())
        num = pat_search.group()
    return int(num)


def get_info(name):
    url  = 'http://www.cnblogs.com/mvc/blog/news.aspx?blogApp=' + name
    web  = requests.get(url)
    soup = BeautifulSoup(web.text,'lxml')
    info = soup.select('div > a')
##    nick = info[0].get_text()
##    age = info[1].get_text()
##    followers = info[2].get_text()
##    follwees = info[3].get_text()
    data = [info[i].get_text() for i in range(0,4)]
##    nick,age,followers,follwees = data
    return data


if __name__ == '__main__':
    nick,age,followers,follwees = get_info(name)  # 獲取個人信息
    get_articles(name)                            # 獲取文章列表
    print('昵稱：' + nick, ' 園齡：' + age,' 粉絲：' + followers,\
          ' 關注：' + follwees, ' 文章：' + str(len(article_list)))
    print()
    for i in article_list:
        print(i['title'], i['url'], sep='\n')
        print()

 

 

一些說明

1、獲取公告中的信息（獲取異步加載的數據）

學了爬蟲對於網頁有更多的認識：發現博客地址 http://www.cnblogs.com/luoxu34 只是正文部分（文章列表），側邊的所有信息都是 js 異步加載出來的。

 

2、統計文章總數

第一個版本的 get_total_pages 方法：

# get_total_pages方法只是截取一個字符，文章頁數不能超過9頁
def get_total_pages(name):
    url  = 'http://www.cnblogs.com/{}/default.html?page=2'.format(name)
    web  = requests.get(url)
    soup = BeautifulSoup(web.text,'lxml')
    page = soup.select('div.pager')
    num  = page[1].get_text()[4:5]  #總頁數，是個字符
    return int(num)

 

自己使用的博客模版上是沒有顯示博文總數的，所以腳本是用 len 方法計算 article_list 列表的長度，作為文章的數量。

為了獲得所有的文章，就要知道一共有多少頁。

http://www.cnblogs.com/luoxu34/default.html?page=2 是第二頁的文章列表，上下位置都出現了“共幾頁”的字樣。

 

get_total_pages 方法就是截取了其中的一個字符，但是超過 9頁的文章就有問題。

 

3、get_total_pages_v2(name) 方法

下圖先把 <div class="paper"> 標簽下的文字打印出來，用 正則 匹配出了頁數。

 

http://www.cnblogs.com/Artech 一共有 564篇文章，截止現在：

這樣就正確統計出了文章的總數。

def get_total_pages_v2(name):
    url  = 'http://www.cnblogs.com/{}/default.html?page=2'.format(name)
    web  = requests.get(url)
    soup = BeautifulSoup(web.text,'lxml')
    page = soup.select('div.pager')
    num  = page[1].get_text()[4:5]

##    print(page[1].get_text())
    SEARCH_PAT = re.compile(r'\d+')
    pat_search = SEARCH_PAT.search(page[1].get_text())
    if pat_search != None:
##        print(pat_search.group())
        num = pat_search.group()
    return int(num)