前期回顧
上篇博文我們學習了Python爬蟲的四大庫urllib ，requests ，BeautifulSoup以及selenium
爬蟲常用庫介紹
- 學習了
urllib與request的常見用法 - 學習了使用
BeautifulSoup來解析網頁以及使用selenium來驅動瀏覽器
# 我們導入了 web 驅動模塊
from selenium import webdriver
# 接着我們創建了一個 Chrome 驅動
driver = webdriver.Chrome()
# 接着使用 get 方法打開百度
driver.get("https://www.baidu.com")
# 獲取輸入框並且往里面寫入我們要搜索的內容
input = driver.find_element_by_css_selector('#kw')
input.send_keys("波多野結衣照片")
# 我們就獲取到搜索這個按鈕然后點擊
button = driver.find_element_by_css_selector('#su')
button.click()
則是上次查看波多老師圖片的代碼，效果如下
抓取豆瓣電影並保存本地
我們來抓取一下豆瓣上排名前250的電影
import requests
from bs4 import BeautifulSoup
import xlwt
def request_douban(url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
except requests.RequestException:
return None
book = xlwt.Workbook(encoding='utf-8', style_compression=0)
sheet = book.add_sheet('豆瓣電影Top250', cell_overwrite_ok=True)
sheet.write(0, 0, '名稱')
sheet.write(0, 1, '圖片')
sheet.write(0, 2, '排名')
sheet.write(0, 3, '評分')
sheet.write(0, 4, '作者')
sheet.write(0, 5, '簡介')
n = 1
def save_to_excel(soup):
list = soup.find(class_='grid_view').find_all('li')
for item in list:
item_name = item.find(class_='title').string
item_img = item.find('a').find('img').get('src')
item_index = item.find(class_='').string
item_score = item.find(class_='rating_num').string
item_author = item.find('p').text
if (item.find(class_='inq') != None):
item_intr = item.find(class_='inq').string
# print('爬取電影：' + item_index + ' | ' + item_name +' | ' + item_img +' | ' + item_score +' | ' + item_author +' | ' + item_intr )
print('爬取電影：' + item_index + ' | ' + item_name + ' | ' + item_score + ' | ' + item_intr)
global n
sheet.write(n, 0, item_name)
sheet.write(n, 1, item_img)
sheet.write(n, 2, item_index)
sheet.write(n, 3, item_score)
sheet.write(n, 4, item_author)
sheet.write(n, 5, item_intr)
n = n + 1
def main(page):
url = 'https://movie.douban.com/top250?start=' + str(page * 25) + '&filter='
html = request_douban(url)
soup = BeautifulSoup(html, 'lxml')
save_to_excel(soup)
if __name__ == '__main__':
for i in range(0, 10):
main(i)
book.save(u'豆瓣最受歡迎的250部電影.csv')
代碼分析
首先導入相關庫
import requests
# 請求網頁庫
from bs4 import BeautifulSoup
# 解析網頁庫
import xlwt
# 與Excel文件交互
定義一個請求網頁的函數
def request_douban(url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
except requests.RequestException:
return None
創建一個存儲數據的Excel
book = xlwt.Workbook(encoding='utf-8', style_compression=0)
sheet = book.add_sheet('豆瓣電影Top250', cell_overwrite_ok=True)
sheet.write(0, 0, '名稱')
sheet.write(0, 1, '圖片')
sheet.write(0, 2, '排名')
sheet.write(0, 3, '評分')
sheet.write(0, 4, '作者')
sheet.write(0, 5, '簡介')
n = 1
定義一個將BeautifulSoup到的數據存入Excel的函數
def save_to_excel(soup):
list = soup.find(class_='grid_view').find_all('li')
for item in list:
item_name = item.find(class_='title').string
item_img = item.find('a').find('img').get('src')
item_index = item.find(class_='').string
item_score = item.find(class_='rating_num').string
item_author = item.find('p').text
if (item.find(class_='inq') != None):
item_intr = item.find(class_='inq').string
# print('爬取電影：' + item_index + ' | ' + item_name +' | ' + item_img +' | ' + item_score +' | ' + item_author +' | ' + item_intr )
print('爬取電影：' + item_index + ' | ' + item_name + ' | ' + item_score + ' | ' + item_intr)
global n
sheet.write(n, 0, item_name)
sheet.write(n, 1, item_img)
sheet.write(n, 2, item_index)
sheet.write(n, 3, item_score)
sheet.write(n, 4, item_author)
sheet.write(n, 5, item_intr)
n = n + 1
定義主函數傳入URL並且存儲，調用主函數
def main(page):
url = 'https://movie.douban.com/top250?start=' + str(page * 25) + '&filter='
html = request_douban(url)
soup = BeautifulSoup(html, 'lxml')
save_to_excel(soup)
if __name__ == '__main__':
for i in range(0, 10):
main(i)
運行后發現文件夾中多了 “豆瓣最受歡迎的250部電影.csv”這個文件，打開看看
