python爬蟲實踐——爬取“梨視頻”

一、爬蟲的基本過程:
　1、發送請求（請求庫:request,selenium）
　2、獲取響應數據（）服務器返回
　3、解析並提取數據（解析庫:re,BeautifulSoup,Xpath）
　4、保存數據（儲存庫）MongoDB

二、爬取“梨視頻”中的某一個視頻

1 # 爬取梨視頻 2 import requests 3 url='https://video.pearvideo.com/mp4/adshort/20190613/cont-1565846-14013215_adpkg-ad_hd.mp4' 4 res = requests.get(url) 5 #將爬取的視頻寫入文件 6 with open('梨視頻.mp4', 'wb') as f: 7 f.write(res.content)

 三、正則表達式的使用

1、re.find.all('正則匹配規則'，‘解析文本’，“正則模式”)
2、re.S:全局模式（對整個文本進行匹配）
3、指的是當前位置
4、*指的是查找所有

四、爬取整個“梨視頻”中的視頻

import requests
import re
import uuid

#1、發送請求
def get_page(url):
    response=requests.get(url)
    return response

#2、解析數據
def parse_index(text):
    res=re.findall('<a href="video_(.*?)"',text,re.S)

    detail_url_list=[]
    for m_id in res:
        detail_url='https://www.pearvideo.com/video_'+m_id
        detail_url_list.append(detail_url)

    return detail_url_list

#解析詳情頁獲取視頻url
def parse_detail(text):
    movie_url=re.findall('srcUrl="(.*?)"',text,re.S)[0]
    return movie_url

#3、保存數據
def save_movie(movie_url):
    response=requests.get(movie_url)
    with open(f'{uuid.uuid4()}.mp4','wb')as f:
        f.write(response.content)
        f.flush()


#主函數:(輸入'main',然后按”回車“)
if __name__ == '__main__':
    #1、對主頁發送請求
    index_res=get_page(url='https://www.pearvideo.com/')
    #2、對主頁進行解析、獲取詳情頁id
    detail_url_list=parse_index(index_res.text)

    #3、對每個詳情頁url發送請求
    for detail_url in detail_url_list:
        detail_res=get_page(url=detail_url)

        #4、解析詳情頁獲取視頻url
        movie_url=parse_detail(detail_res.text)
        print(movie_url)

        #5、保存視頻
        save_movie(movie_url)

五、多線程爬取整個“梨視頻”中的視頻

import requests
import re  # 正則模塊
# uuid.uuid4()  可以根據時間戳生成一段世界上唯一的隨機字符串
import uuid
# 導入線程池模塊
from concurrent.futures import ThreadPoolExecutor
# 線程池限制50個線程
pool = ThreadPoolExecutor(50)

# 爬蟲三部曲

# 1、發送請求
def get_page(url):
    print(f'開始異步任務: {url}')
    response = requests.get(url)
    return response


# 2、解析數據
# 解析主頁獲取視頻詳情頁ID
def parse_index(res):

    response = res.result()
    # 提取出主頁所有ID
    id_list = re.findall('<a href="video_(.*?)"', response.text, re.S)
    # print(res)

    # 循環id列表
    for m_id in id_list:
        # 拼接詳情頁url
        detail_url = 'https://www.pearvideo.com/video_' + m_id
        # print(detail_url)
        # 把詳情頁url提交給get_page函數
        pool.submit(get_page, detail_url).add_done_callback(parse_detail)


# 解析詳情頁獲取視頻url
def parse_detail(res):
    response = res.result()
    movie_url = re.findall('srcUrl="(.*?)"', response.text, re.S)[0]
    # 異步提交把視頻url傳給get_page函數,把返回的結果傳給save_movie
    pool.submit(get_page, movie_url).add_done_callback(save_movie)


# 3、保存數據
def save_movie(res):

    movie_res = res.result()

    # 把視頻寫到本地
    with open(f'{uuid.uuid4()}.mp4', 'wb') as f:
        f.write(movie_res.content)
        print(f'視頻下載結束: {movie_res.url}')
        f.flush()


if __name__ == '__main__':  # main + 回車鍵

    # 一 往get_page發送異步請求，把結果交給parse_index函數
    url = 'https://www.pearvideo.com/'
    pool.submit(get_page, url).add_done_callback(parse_index)