python爬蟲實踐——爬取“豆瓣top250”

'''
主頁:
    https://movie.douban.com/top250
    GET
    User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36

re正則:
    # PS: 電影詳情頁url、圖片鏈接、電影名稱、導演、主演、電影上映時間、電影評分、評價人數、簡介
<div class="item">.*?href="(.*?)">.*?src="(.*?)" class="">.*?<span class="title">(.*?)</span>.*?導演:(.*?).*?主演: (.*?) /...<br>(.*?)</p>.*?content="(.*?)"></span><span>(.*?)人評價.*?<span class="inq">(.*?)</span>
'''
'''
每一頁URL:
第一頁：https://movie.douban.com/top250
第二頁：https://movie.douban.com/top250?start=25&filter=
第三頁：https://movie.douban.com/top250?start=50&filter=
.....
第九頁：https://movie.douban.com/top250?start=200&filter=
第十頁：https://movie.douban.com/top250?start=225&filter=
'''

import requests
import re
#請求頭
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36'
}

base_url='https://movie.douban.com/top250?start={}&filter='
num=0
for i in range(10):
    url=base_url.format(i)
    num+=25
    print(url)

    #1、往豆瓣發送請求
    response=requests.get(url,headers=headers)

    # 2、通過正則解析提取數據
    # PS: 電影詳情頁url、圖片鏈接、電影名稱、導演、主演、電影上映時間、電影評分、評價人數、簡介
    movie_content_list=re.findall('<div class="item">.*?href="(.*?)">.*?src="(.*?)" class="">.*?<span class="title">(.*?)</span>.*?<div class="bd">.*?導演:(.*?)<br>(.*?)</p>.*?<span class="rating_num".*?>(.*?)</span>.*?<span>(.*?)人評價.*?<span class="inq">(.*?)</span>',
                      response.text,re.S)
    #解壓賦值每一部電影
    for move_content in movie_content_list:
        detail_url,image_url,movie_name,acters,movie_time,movie_grade,number,content=move_content
        detail_data=f'電影url:{detail_url}, 圖片鏈接:{image_url}, 電影名稱:{movie_name}, 導演和主演:{acters},電影上映時間:{movie_time},電影評分:{movie_grade},評價人數:{number},簡介:{content}\n'
        print(detail_data)

        #保存數據
        with open('douban.txt','a',encoding='utf-8')as f:
            f.write(detail_data)