目錄
1、分析網頁
當我們去爬取網頁時，首先要做的就是先分析網頁結構，然后就會發現相應的規律，如下所示：
生成鏈接：從網頁鏈接的規律中可得寫一個for循環即可生成它的鏈接，其中它的間隔為25，程序如下：
for page in range (0,226,25):
url ="https://movie.douban.com/top250?start=%s&filter="%page
print (url)
得到的結果如下：
2、請求服務器
在爬取網頁之前，我們要向服務器發出請求
2.1導入包
沒有安裝requests包的要先進行安裝，步驟為：1.win+R運行——2.cmd回車——3.輸入命令pip install requests
2.2設置瀏覽器代理
設置瀏覽器代理的代碼如下：
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}
2.3請求服務器格式
請求源代碼，向服務器發出請求，如果在后面加上.text表示輸出文本內容，代碼如下圖所示：
requests.get(url = test_url, headers = headers)
2.4請求服務器代碼匯總
import requests
#pip安轉 pip install requests————>win+r,運行————>cmd,回車，————>pip
test_url = 'https://movie.douban.com/top250?start=0&filter=' #''格式化，為字符串
#設置瀏覽器代理,它是一個字典
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}
#請求源代碼，向服務器發出請求,200代表成功
reponse = requests.get(url = test_url, headers = headers).text
# 快捷鍵運行，Ctrl+Enter
3.xpath提取信息
3.1獲取xpath節點的方法
3.2xpath提取內容
from lxml import etree #導入解析庫
html_etree = etree.HTML(reponse) # 看成一個篩子，樹狀
3.2.1提取文本
當我們在提取標簽內的文本時，要在復制的xpath后面加上/text（）
如《霸王別姬》：
<span class="title">霸王別姬</span>
xpath為：
//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]
提取文字：
name = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]/text()')
print ("這是數組形式：",name)
print ("這是字符串形式：",name[0])
3.2.2提取鏈接
我們在提取鏈接時，需要在復制到的xpath后面加上/@href , 指定提取鏈接，
movie_url = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/@href')
print ("這是數組形式：",movie_url)
print ("這是字符串形式：",movie_url[0])
結果如下：
3.2.3提取標簽元素
提取標簽元素和提取鏈接的方法一樣，不過要在后面加上 /@class 就可以了，
rating = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/div/span[1]/@class')
print ("這是數組形式：",rating)
print ("這是字符串形式：",rating[0])
結果如下：
4.正則表達式
4.1提取固定位置的信息
正則表達式中用（.*?）來提取我們想要的信息，在使用正則表達式時，通常要先導入re這個包，舉例如下：
import re
test = "我是js"
text = re.findall("我是.*?",test)
print (text)
結果如下：
4.2匹配出數字
比如說我們要匹配出有多少人評價這部電影，我們可以這樣寫：
import re
data = "1059232人評價"
num = re.sub(r'\D', "", data)
print("這里的數字是:", num)
結果如下：
5、提取一頁中的所有信息
比如說我們這里提取最后一頁的電影名稱，如下：
li = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li')
for item in li:
name = item.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
print (name)
結果如下：
按照這種方法，我們可以把所有的都爬取下來。
6、把內容寫入文本csv
代碼如下：
import csv
# 創建文件夾並打開
fp = open("./豆瓣top250.csv", 'a', newline='', encoding = 'utf-8-sig')
writer = csv.writer(fp) #我要寫入
# 寫入內容
writer.writerow(('排名', '名稱', '鏈接', '星級', '評分', '評價人數'))
#關閉文件
fp.close()
7、把所有代碼匯總
import requests, csv, re
from lxml import etree
#設置瀏覽器代理,它是一個字典
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}
# 創建文件夾並打開
fp = open("./豆瓣top250.csv", 'a', newline='', encoding = 'utf-8-sig')
writer = csv.writer(fp) #我要寫入
# 寫入內容
writer.writerow(('排名', '名稱', '鏈接', '星級', '評分', '評價人數'))
for page in range(0, 226, 25): #226
print ("正在獲取第%s頁"%page)
url = 'https://movie.douban.com/top250?start=%s&filter='%page
#請求源代碼，向服務器發出請求,200代表成功，回退對其，Ctrl+]
reponse = requests.get(url = url, headers = headers).text
# 快捷鍵運行，Ctrl+Enter
html_etree = etree.HTML(reponse) # 看成一個篩子，樹狀
# 過濾
li = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li')
for item in li:
#排名
rank = item.xpath('./div/div[1]/em/text()')[0]
#電影名稱
name = item.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
#鏈接
dy_url = item.xpath('./div/div[2]/div[1]/a/@href')[0]
#評分
rating = item.xpath('./div/div[2]/div[2]/div/span[1]/@class')[0]
rating = re.findall('rating(.*?)-t', rating)[0]
if len(rating) == 2:
star = int(rating) / 10 #int()轉化為數字
else:
star = rating
# 注釋ctrl+?
rating_num = item.xpath('./div/div[2]/div[2]/div/span[2]/text()')[0]
content = item.xpath('./div/div[2]/div[2]/div/span[4]/text()')[0]
content = re.sub(r'\D', "", content)
# print (rank, name, dy_url, star, rating_num, content)
# 寫入內容
writer.writerow((rank, name, dy_url, star, rating_num, content))
fp.close()
結果如下：
csv文件中的結果：
最后爬取結束。