Python爬蟲項目--爬取貓眼電影Top100榜

 本次抓取貓眼電影Top100榜所用到的知識點:

1. python requests庫

2. 正則表達式

3. csv模塊

4. 多進程

正文

目標站點分析

通過對目標站點的分析, 來確定網頁結構, 進一步確定具體的抓取方式.

1. 瀏覽器打開貓眼電影首頁, 點擊"榜單", 點擊"Top100榜", 即可看到目標頁面. 

2.  瀏覽網頁, 滾動到下方發現有分頁, 切換到第2頁, 發現: URL從 http://maoyan.com/board/4變換到http://maoyan.com/board/4?offset=10, 多次切換頁碼offset都有改變, 可以確定的是通過改變URL的offset參數來生成分頁列表.

項目流程框架:

獲取單頁源碼

#抓取貓眼電影TOP100榜
import requests
import time
from requests.exceptions import RequestException
def get_one_page():
    '''獲取單頁源碼'''
    try:
        url = "http://maoyan.com/board/4?offset={0}".format(0)
        headers = {
            "User-Agent":"Mozilla/5.0(WindowsNT6.3;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/68.0.3440.106Safari/537.36"
        }
        res = requests.get(url, headers=headers)
        # 判斷響應是否成功,若成功打印響應內容,否則返回None
        if res.status_code == 200:
            print(res.text)
        return None
    except RequestException:
        return None
def main():
    get_one_page()
if __name__ == '__main__':
    main()
    time.sleep(1)

執行即可得到網頁源碼, 那么下一步就是解析源碼了

解析單頁源碼

導入正則表達式re模塊, 對代碼進行解析, 得到想要的信息.

import re

def parse_one_page(html):
    '''解析單頁源碼'''
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime'
                         + '.*?>(.*?)</p>.*?score.*?integer">(.*?)</i>.*?>(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    print(items)
    #采用遍歷的方式提取信息
    for item in  items:
        yield {
            'rank' :item[0],
            'title':item[1],
            'actor':item[2].strip()[3:] if len(item[2])>3 else '',  #判斷是否大於3個字符
            'time' :item[3].strip()[5:] if len(item[3])>5 else '',
            'score':item[4] + item[5]
        }
def main():
    html = get_one_page()
    for item in parse_one_page(html):
        print(item)

if __name__ == '__main__':
    main()
    time.sleep(1)

提取出信息之后, 那么下一步就是保存到文件

保存到文件中

這里采用兩種方式, 一種是保存到text文件, 另一種是保存到csv文件中, 根據需要選擇其一即可.

1. 保存到text文件

import json

def write_to_textfile(content):
    '''寫入到text文件中'''
    with open("MovieResult.text",'a',encoding='utf-8') as f:
        #利用json.dumps()方法將字典序列化,並將ensure_ascii參數設置為False,保證結果是中文而不是Unicode碼.
        f.write(json.dumps(content,ensure_ascii=False) + "\n")
        f.close()
def main():
    html = get_one_page()
    for item in parse_one_page(html):
        write_to_textfile(item)

if __name__ == '__main__':
    main()
    time.sleep(1)

2. 保存到CSV文件

其文件以純文本的形式存儲表格數據

import csv
def write_to_csvfile(content):
    '''寫入到csv文件中'''
    with open("MovieResult.csv",'a',encoding='gb18030',newline='') as f:
        # 將字段名傳入列表
        fieldnames = ["rank", "title", "actor", "time", "score"]
        #將字段名傳給Dictwriter來初始化一個字典寫入對象
        writer = csv.DictWriter(f,fieldnames=fieldnames)
        #調用writeheader方法寫入字段名
        writer.writeheader()
        writer.writerows(content)
        f.close()
def main():
    html = get_one_page()
    rows = []
    for item in parse_one_page(html):
        #write_to_textfile(item)
        rows.append(item)
    write_to_csvfile(rows)
if __name__ == '__main__':
    main()
    time.sleep(1)

單頁的信息已經提取出, 接着就是提取多個頁面的信息

獲取多個頁面

1. 普通方法抓取

def main(offset):
    url = "http://maoyan.com/board/4?offset={0}".format(offset)
    html = get_one_page(url)
    rows = []
    for item in parse_one_page(html):
        #write_to_textfile(item)
        rows.append(item)
    write_to_csvfile(rows)
if __name__ == '__main__':
    #通過遍歷寫入TOP100信息
    for i in range(10):
        main(offset=i * 10)
        time.sleep(1)

2. 多進程抓取

from multiprocessing import Pool

if __name__ == '__main__':
    # 將字段名傳入列表
    fieldnames = ["rank", "title", "actor", "time", "score"]
    write_to_csvField(fieldnames)
    pool = Pool()
    #map方法會把每個元素當做函數的參數,創建一個個進程,在進程池中運行.
    pool.map(main,[i*10 for i in range(10)])

 完整代碼

#抓取貓眼電影TOP100榜
from multiprocessing import Pool
from requests.exceptions import RequestException
import requests
import json
import time
import csv
import re
def get_one_page(url):
    '''獲取單頁源碼'''
    try:
        headers = {
            "User-Agent":"Mozilla/5.0(WindowsNT6.3;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/68.0.3440.106Safari/537.36"
        }
        res = requests.get(url, headers=headers)
        # 判斷響應是否成功,若成功打印響應內容,否則返回None
        if res.status_code == 200:
            return res.text
        return None
    except RequestException:
        return None
def parse_one_page(html):
    '''解析單頁源碼'''
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime'
                         + '.*?>(.*?)</p>.*?score.*?integer">(.*?)</i>.*?>(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    #采用遍歷的方式提取信息
    for item in  items:
        yield {
            'rank' :item[0],
            'title':item[1],
            'actor':item[2].strip()[3:] if len(item[2])>3 else '',  #判斷是否大於3個字符
            'time' :item[3].strip()[5:] if len(item[3])>5 else '',
            'score':item[4] + item[5]
        }

def write_to_textfile(content):
    '''寫入text文件'''
    with open("MovieResult.text",'a',encoding='utf-8') as f:
        #利用json.dumps()方法將字典序列化,並將ensure_ascii參數設置為False,保證結果是中文而不是Unicode碼.
        f.write(json.dumps(content,ensure_ascii=False) + "\n")
        f.close()

def write_to_csvField(fieldnames):
    '''寫入csv文件字段'''
    with open("MovieResult.csv", 'a', encoding='gb18030', newline='') as f:
        #將字段名傳給Dictwriter來初始化一個字典寫入對象
        writer = csv.DictWriter(f,fieldnames=fieldnames)
        #調用writeheader方法寫入字段名
        writer.writeheader()
def write_to_csvRows(content,fieldnames):
    '''寫入csv文件內容'''
    with open("MovieResult.csv",'a',encoding='gb18030',newline='') as f:
        #將字段名傳給Dictwriter來初始化一個字典寫入對象
        writer = csv.DictWriter(f,fieldnames=fieldnames)
        #調用writeheader方法寫入字段名
        #writer.writeheader()            ###這里寫入字段的話會造成在抓取多個時重復.
        writer.writerows(content)
        f.close()

def main(offset):
    fieldnames = ["rank", "title", "actor", "time", "score"]
    url = "http://maoyan.com/board/4?offset={0}".format(offset)
    html = get_one_page(url)
    rows = []
    for item in parse_one_page(html):
        #write_to_textfile(item)
        rows.append(item)
    write_to_csvRows(rows,fieldnames)

if __name__ == '__main__':
    # 將字段名傳入列表
    fieldnames = ["rank", "title", "actor", "time", "score"]
    write_to_csvField(fieldnames)
    # #通過遍歷寫入TOP100信息
    # for i in range(10):
    #     main(offset=i * 10,fieldnames=fieldnames)
    #     time.sleep(1)
    pool = Pool()
    #map方法會把每個元素當做函數的參數,創建一個個進程,在進程池中運行.
    pool.map(main,[i*10 for i in range(10)])

效果展示: 

最終采用寫入csv文件的方式.