python爬蟲+使用cookie登錄豆瓣

---

2017-10-09 19:06:22

版權聲明：本文為博主原創文章，未經博主允許不得轉載。

前言：

先獲得cookie，然后自動登錄豆瓣和新浪微博

系統環境：

64位win10系統，同時裝python2.7和python3.6兩個版本（本次使用python3.6），IDE為pycharm，瀏覽器為chorme，使用的python第三方庫為requests

查看cookie:

首先登陸豆瓣首頁，並且登錄賬戶（注意練習爬蟲時最好用小號），右鍵檢查，點擊Network，然后按Fn+F5刷新頁面，點擊最上面的www.douban.com選項，即可找到cookie信息

登錄：

復制cookie到如下代碼中：

import requests

headers = {'User-Agent': ''}
cookies = {'cookie': ''}
url = 'http://www.douban.com'
r = requests.get(url, cookies = cookies, headers = headers)
with open('douban_2.txt', 'wb+') as f:
    f.write(r.content)

注意：User-Agent也用如上方式獲取並復制到代碼中

運行代碼，即可在腳本文件目錄下找到"douban_2.txt"的text文件，里面是豆瓣登錄主頁的源代碼。