Python - 爬取博客園某一目錄下的隨筆 - 保存為docx

#coding:utf-8
import requests 
from bs4 import BeautifulSoup
import MySQLdb


def get_html(url):
    '''
    獲取頁面HTML源碼，並返回
    '''
    html = requests.get(url)
    content = html.text.encode('utf-8')
    return content

def get_blog_html_list(html_content):
    global addr
    '''
    在HTML源碼中獲取到blog相關的值，並返回
    '''
    bs = BeautifulSoup(html_content,'lxml')
    # 此處的class要加上下划線，否則會和系統內預定的class沖突
    blog_list = bs.find_all('div', class_ = 'entrylistItem')
    for i in range(len(blog_list)):
        sub_dict = {}
        sub_dict['title'] = blog_list[i].a.get_text()
        sub_dict['link'] = blog_list[i].a.get('href')
        sub_dict['abstract'] = blog_list[i].div.get_text()
        insert_to_db(sub_dict)
    return sub_dict

def insert_to_db(dict={} ):
    conn = MySQLdb.connect(host = 'localhost', user = 'root', passwd = '12345a', 
                           db = 'pytest01', charset = 'utf8')
    cur = conn.cursor()

    try:
        cur.execute('insert into blog_details (title, link, abstract) values (%s, %s, %s)',
                     (dict['title'], dict['link'], dict['abstract']))
    except MySQLdb.Error, e:
        pass
    conn.commit()
    cur.close()
    conn.close()

#coding:utf-8
import urllib
import requests
from bs4 import BeautifulSoup
import MySQLdb
import Crawler.get_file
from docx import Document
import time
import docx.image   # 超鏈接圖片拋出的異常在docx.image中

index = '0'

def get_blog_pic(pic_url, index):
    print 'download picture'
    '''
    下載指定URL的圖片，並且以index命名保存到temp_pic 文件夾內
    '''
    path = 'D:\\workspace_Java\\cnBlogCrawler\\temp_pic\\' + index + '.png' 
    try:
        pic = urllib.urlretrieve(pic_url, path)
    except AttributeError,e:
        path = r'C:\Users\Lisen\Desktop\error.jpg'
        print 'download picture error, the link is ' + pic_url
        pass
    finally:
        return path
    
def get_blog_body(url, title):
    print 'download blog'
    print title, time.strftime('%Y-%m-%d %H:%M:%S')
    file_path = 'D:\\workspace_Java\\cnBlogCrawler\\temp_doc\\' + title + '.docx'
    header = {'Accept':'text/html,application/xhtml+xml,application/xml',
              'Accept-Encoding':'gzip, deflate, sdch',
              'Accept-Language':'zh-CN,zh;q=0.8',
              'Cache-Control':'max-age=0',
              'Connection':'keep-alive',
              'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36'}
    html = requests.get(url,header).text
    bs = BeautifulSoup(html, 'lxml')
    print 'html ready'
    '''
    獲取html中blog正文部分
    '''
    body = bs.find_all('p')
    '''
    創建文檔
    '''    
    doc = Document()
    for each in body:
        # 在函數中改變全局變量需要用global聲明下
        global index
        '''
        如果p節點有子節點a的話，就說明其中是帶着圖片的鏈接或者是文本本身就是鏈接，因此要分三種情況去爬取
        1. 沒有子節點：直接獲取text部分
        2. 有子節點 a， 但是該子節點沒有text部分，說明這是圖片
        3. 有子節點a， 且該子節點有text部分，則里面是文本
        '''
        if each.a != None:
            txt = each.a.get_text()
            if txt == '':
                print 'pic'
                url = each.a.get('href')
                index = str(int(index) + 1)
                pic_name = get_blog_pic(url, index)
                try:
                    doc.add_picture(pic_name)
                except docx.image.exceptions.UnrecognizedImageError, e:
                    pass
            else:
                print 'URL'
                content = each.a.get_text()
                paragraph = doc.add_paragraph(content)
        else:
            print 'txt'
            content = each.get_text()
            paragraph = doc.add_paragraph(content)
    try:
        print 'saving file'
        doc.save(file_path)
    except IOError,e:
        print 'file saving error'
        print 'error url is ' + url
        pass

import MySQLdb
import Crawler.get_file
import Crawler.get_blog_details
import time

if __name__ == '__main__':

    conn = MySQLdb.connect(host = 'localhost', user = 'root', passwd = '12345a', 
                            db = 'pytest01', charset = 'utf8')
    cur = conn.cursor()
    cur.execute('truncate blog_details')
    url = r'http://www.cnblogs.com/omygod/category/460309.html'
    print 'next parsing html'
    html = Crawler.get_blog_details.get_html(url)
    print 'next parsing blog address'
    dict = Crawler.get_blog_details.get_blog_html_list(html)
    print 'next update MySQL'
    Crawler.get_blog_details.insert_to_db(dict)
     
    cur.execute('select * from blog_details')
    lines = cur.fetchall()
    for line in lines:
        Crawler.get_file.get_blog_body(line[1],line[0])
        print 'done' + time.strftime('%Y-%m-%d %H:%M:%S')
        time.sleep(2)
        print 'wait over'
    cur.close()
    conn.close()

 

 

由於博客園的原創博客都是通過隨筆的形式保存的，因此我們可以通過對某一隨筆目錄進行解析，獲取出該目錄下所有博文的標題，鏈接以及摘要，存儲到MySQL數據庫中（主要是因為可以持久記錄相關信息，后續有新博文的時候可以通過對比判斷直接下載新的博文）。然后再對每個條目進行單獨解析，將博文的內容，圖片保存到Word文檔中。

     主要用到的包有： requests， BeautifulSoup，python-docx， MySQLdb

• requests和BeautifulSoup主要是用來獲取網頁源代碼以及對其進行解析；
• python-docx是用來生成Word文檔，手冊可參照： https://python-docx.readthedocs.io/en/latest/user/quickstart.html
• MySQLdb是用來通過Python操控MySQL數據庫， 具體可參照SegmentFault中的一篇文章：https://segmentfault.com/a/1190000000709735

    整個代碼分為三部分：

1. 第一部分是get_blog_details.py，主要是獲取目錄下各個博文的詳細信息，並存到MySQL數據庫中
2. 第二部分是get_file.py，獲取各個博文的地址等並生成Word文檔
3. 第三部分是__init__.py， 程序開始  

    在編寫代碼過程中，有幾個地方需要注意：

1. 若在函數中改變全局變量，需要在函數中聲明： global g_var
2. 在用BeautifulSoup解析某個節點的class屬性是，不能直接用class否則會報錯，因為class是保留關鍵字， 要在class后加_， 如：blog_list = bs.find_all('div', class_ = 'entrylistItem')
3. 在py文件中import其他py文件時，一要在文件目錄中添加 __init__.py 文件，二是要在導入是加上對應文件夾的名字，如：import Crawler.get_file

　　現階段缺點：

1. 程序運行速度慢，后期准備學習下多線程爬蟲
2. Word文檔中圖片太大以至於不方便閱讀，准備用python-docx中的Inches修改
3. 剛才跑的時候發現寫數據庫表的時候有一個地方沒注意，相同主鍵不能再次寫入，這個需要修改下 現在每次解析博文列表時都會先進行刪除數據庫的操作
4. 沒有例外處理，程序容易崩潰 一定要添加例外處理，否則指不定程序在哪里就崩潰了。。
5. 在爬取博文時發現有些博文內容含有表格，以及某些圖片是超鏈接形式，表格在下一版中修改，超鏈接圖片在此版中作為異常處理

　　體會：

　　1. 真的真的要做異常處理，否則會很痛苦

　　2. 分析不全面，沒有考慮到含有表格或者其他形式

　　3. 爭取做出GUI，方便處理

　　4. 添加log 文檔， 方便查看出錯的地方