python爬蟲requests的使用

1 發送get請求獲取頁面

import requests  2 
# 1 要爬取的頁面地址
url = 'http://www.baidu.com'
# 2 發送get請求 拿到響應
response = requests.get(url=url)  7 # 3 獲取響應內容文本 兩種方法
html1 = response.content.decode() #response.content為bytes類型，decode() 將它轉換為utf8
print(html1) 10 
response.encoding='utf8'
html2 = response.text # 用response.text 會自動選擇一種方式解碼 有時候會亂碼，要提前設置response.encoding
print(html2)

 

 

2 發送post請求獲取頁面

import requests  2 
# 1 要爬取的頁面地址
url = 'http://www.baidu.com'
# 2 發送get請求 拿到響應
response = requests.post(url=url)  7 # 3 獲取響應內容文本 兩種方法
html1 = response.content.decode() #response.content為bytes類型，decode() 將它轉換為utf8
print(html1) 10 
response.encoding='utf8'
html2 = response.text # 用response.text 會自動選擇一種方式解碼 有時候會亂碼，要提前設置response.encoding
print(html2)

 

3 偽裝瀏覽器，攜帶報頭

import requests  2 
# 偽裝我們的報文頭，加上Use-Agent 偽裝成瀏覽器
headers = {  5     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',  6     # 如果要帶着cookie 可以傳入cookie，也可以放在報文頭當中
    #'Cookie':'這里放入cookie'
}  9 # 1 要爬取的頁面地址
url = 'http://www.baidu.com'
# 2 發送get請求 拿到響應
response = requests.get(url=url,headers=headers) 13 # 3 獲取響應內容文本 兩種方法
html = response.content.decode() #response.content為bytes類型，decode() 將它轉換為utf8
print(html)

 

4 攜帶數據 （比如 發送請求去登陸）

 

import requests  2 
# 如果偽裝登錄，可以傳送一個字典類型數據
data = {  5 '''這里放入需要的key：value'''
}  7 # 1 要爬取的頁面地址
url = 'http://www.baidu.com'
# 2 發送get請求 拿到響應 
# get請求用params 相當於在url后面拼接key=value&key=value
response = requests.get(url=url,params=data) 12 # post用data傳入參數 攜帶post的數據
response = requests.post(url=url,data=data) 14 # 3 獲取響應內容文本 兩種方法
html = response.content.decode() #response.content為bytes類型，decode() 將它轉換為utf8
print(html) 

 

 

 

 

5 代理

import requests # 將代理的服務器放入這里，key為協議類型 value為代理的ip和端口 # 發送https或者http請求會根據不同代理ip選擇 為我們發送請求
proxies = { 'http':'http://127.0.0.1:80', 'https':'https://127.0.0.1:80' } # 1 要爬取的頁面地址
url = 'http://www.baidu.com'
# 2 發送get請求 拿到響應
response = requests.get(url=url,proxies=proxies) # 3 獲取響應內容文本 兩種方法
html = response.content.decode() #response.content為bytes類型，decode() 將它轉換為utf8
print(html)

 

6 攜帶cookie

import requests  2 
# 如果要帶着cookie字典 可以傳入cookie，也可以放在報文頭當中
cookies = {  5     #'key':'value',
}  7 
# 或者將cookie放在報文頭當中
headers = { 10     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36', 11     # 如果要帶着cookie 可以傳入cookie，也可以放在報文頭當中
    #'Cookie':'這里放入cookie'
} 14 
# 1 要爬取的頁面地址
url = 'http://www.baidu.com'
# 2 發送get請求 拿到響應
response = requests.get(url=url,cookies=cookies) 19 #response = requests.get(url=url,headers=headers)
# 3 獲取響應內容文本 兩種方法
html = response.content.decode() #response.content為bytes類型，decode() 將它轉換為utf8
print(html)

 

7 保持session 幫我們保存response中的session

import requests  2 # 獲取一個session對象為我們發送請求 用法與requests對象相同
session = requests.session()  4 
url = 'http://www.baidu.com'
#保持session發送請求
response = session.get(url=url)  8 # 獲取頁面
html = response.content.decode() 10 print(html) 11 #查看session
print(response.cookies)

 

8 設置連接超時時間

import requests  2 # 獲取一個session對象為我們發送請求 用法與requests對象相同
session = requests.session()  4 
url = 'http://www.baidu.com'
#保持session發送請求
response = session.get(url=url,timeout = 3) # 3秒時間為超時時間
# 獲取頁面
html = response.content.decode() 10 print(html) 11 #查看session
print(response.cookies)

 

9 設置ssl校驗 對方https協議合法性是否忽略

import requests  2 # 獲取一個session對象為我們發送請求 用法與requests對象相同
session = requests.session()  4 
url = 'http://www.baidu.com'
#保持session發送請求
response = session.get(url=url,verify=False) # 不校驗ssl 如果對方https協議不合法，我們忽略 繼續請求
# 獲取頁面
html = response.content.decode() 10 print(html) 11 #查看session
print(response.cookies)

 

10 重新連接次數

import requests  2 from retrying import retry  3 

@retry(stop_max_attempt_number=3) # 設置超時重新連接 次數3
def get( url ):  7     response = requests.get(url=url,timeout=3)  8     return response.content.decode()  9 
url = 'http://www.baidu.com'
html = get(url) 12 print(html)