爬蟲篇-使用cookie,user-agent簡單爬數據

　　爬取網頁數據有很多方法，我知道的就有：

1、scrapy框架，創建scrapy框架文件夾，在spider文件寫上請求函數，文件保存函數等等

2、導入requests模塊請求，寫上請求函數和保存函數。

　　方法很多種，今天這章節是做簡單的爬取方式了。根據cookie，user-agent請求數據。

1、導入requests模塊

　　

import requests

2、可以寫一個函數，也可以直接寫代碼，本人覺得寫函數會比較有秩序。def run():    headers = {

def run():
　　headers:{
#假裝自己是瀏覽器 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36', #把登錄的cookie復制進來 'Cookie': 'xxx', } #創建一個會話 session = requests.Session() #請求網頁 response = session.get('https://i.51job.com/userset/my_51job.php',headers = headers) #改為網頁的編碼gbk形式，不然會亂碼 #response.encoding='gbk' #a = response.text
保存成為txt文件，注意:查看網頁編碼，如果是'utf-8',那么f.write(response.content.decode('utf-8'))

　　with open('a.text','w') as f: f.write(response.content.decode('gbk'))

寫完了函數，最后就要調用此函數。

if __name__=='__main__':
    run()

運行成功，和這個py文件同目錄下就可以看到一個a.text文本，可以看到這個就是網頁請求的內容了